[論文レビュー] Adversarial Background-Aware Loss for Weakly-supervised Temporal Activity Localization

Kyle Min, Jason J. Corso|arXiv (Cornell University)|Jul 13, 2020

Human Pose and Action Recognition参考文献 31被引用数 8

ひとこと要約

本稿では、特徴空間において2つのトリプレット（1つはクラス固有の特徴、もう1つは背景と活動関連特徴を明示的に区別するもの）を用いることで特徴の識別性を向上させる、弱教師付き時系列行動局所化の新手法A2CL-PTを提案する。敵対的2本路線ネットワークを採用し、局所化の完全性を向上させ、THUMOS14においてIoU閾値0.1～0.9の範囲で30.0%という新たなSOTAのmAPを達成した。

ABSTRACT

Temporally localizing activities within untrimmed videos has been extensively studied in recent years. Despite recent advances, existing methods for weakly-supervised temporal activity localization struggle to recognize when an activity is not occurring. To address this issue, we propose a novel method named A2CL-PT. Two triplets of the feature space are considered in our approach: one triplet is used to learn discriminative features for each activity class, and the other one is used to distinguish the features where no activity occurs (i.e. background features) from activity-related features for each video. To further improve the performance, we build our network using two parallel branches which operate in an adversarial way: the first branch localizes the most salient activities of a video and the second one finds other supplementary activities from non-localized parts of the video. Extensive experiments performed on THUMOS14 and ActivityNet datasets demonstrate that our proposed method is effective. Specifically, the average mAP of IoU thresholds from 0.1 to 0.9 on the THUMOS14 dataset is significantly improved from 27.9% to 30.0%.

研究の動機と目的

• 活動が発生していない状況をモデルが認識できないという弱教師付き時系列行動局所化の限界を解消すること。
• 背景特徴を活動関連特徴とは別に明示的にモデル化することで、モデルのロバスト性を向上させること。
• 補足的な活動セグメントを捉えるために、敵対的2本路線アーキテクチャを導入することで、局所化の完全性を向上させること。
• 従来の手法が背景とフォアグラウンド活動特徴を十分に区別できないという短所を克服すること。
• 2つのトリプレットを用いた判別的特徴学習と背景に配慮した表現を統合する損失関数を構築すること。

提案手法

• 二重トリプレット損失機構を提案：1つ目のトリプレット（F, c, cₙ）はクラスごとの判別的特徴を学習するためのもの、2つ目のトリプレット（c, F, f）は背景特徴（f）と活動特徴（F）を区別するためのもの。
• 動画レベルの集約特徴（F）と背景に注意を向ける特徴（f）を用いて2番目のトリプレットを構成し、背景の明示的モデリングを可能にする。
• 1本目のブランチが主な活動を局所化し、もう1本のブランチが非局所化領域で補足的な活動を同定する2本路線ネットワークを設計する。
• 2つのブランチを敵対的に訓練することで補完的学習を促進し、可学習パrameter α を用いて注意重みを動的に調整する。
• 可変長動画特徴に適応したアングルセンター損失（ATCL）の変種を統合し、クラス中心と負の中心を用いて特徴のクラスタリングを改善する。
• ハイパーパrameter ω を用いて両ブランチのT-CAMの重み付き融合を実装し、寄与度をバランスさせる。最適な性能は ω ≤ 1 のとき得られる。

実験結果

リサーチクエスチョン

• RQ1 背景特徴の明示的モデリングは、弱教師付き時系列行動局所化を改善するか？
• RQ2 2つの並列ブランチ間の敵対的学習は、局所化の完全性と正確性をどのように向上させるか？
• RQ3 二重トリプレット損失構造は、特徴の識別性と背景分離にどのような影響を与えるか？
• RQ4 ハイパーパrameter α と ω は、2つの敵対的ブランチ間の性能とバランスにどのように影響するか？
• RQ5 提案手法は、THUMOS14 や ActivityNet といった標準ベンチマークで、既存のSOTA手法を上回る性能を示すか？

主な発見

• A2CL-PTは、THUMOS14データセットにおいて、IoU閾値0.1～0.9の範囲で、前回の研究の27.9%から向上する30.0%という新たなSOTAの平均mAPを達成した。
• アブレーションスタディの結果、二重トリプレット損失と敵対的学習の両成分が性能向上に顕著に寄与しており、完全な手法がアブレーションバージョンを上回ることを確認した。
• α が正の値をとると一貫して性能が向上し、両ブランチからのT-CAMを統合する注意重み付き融合機構の有効性が裏付けられた。
• ω > 1 の場合、性能が劣化するため、敵対的ブランチのT-CAMが支配的であってはならず、むしろ補足的情報を提供すべきであることが示された。
• 定性的な分析から、A2CL-PTは曖昧なケース（例：トライアスロンの投げ込みが誤って投げと誤認されるなど）における誤検出を低減し、アノテーションの真の誤りを正しく同定していることがわかった。
• 本手法は、HighJump、JavelinThrow、HammerThrow など多様な活動クラスにわたり、THUMOS14テストセットで一貫した局所化精度を示し、良好な一般化性能を示した。