[論文レビュー] ACSNet: Action-Context Separation Network for Weakly Supervised Temporal Action Localization

Ziyi Liu, Le Wang+5 more|arXiv (Cornell University)|Mar 28, 2021

Human Pose and Action Recognition参考文献 35被引用数 8

ひとこと要約

本稿では、潜在的コンponentモデリングを用いてアクションとコンテキストを明示的に分離する、弱教師付き時空間行動局所化のための新規二本のブランチからなるネットワークACSNetを提案する。補助的コンテキストカテゴリを導入し、フォアグラウンド・バックグラウンドおよびアクション・コンテキストの二重ブランチアテンションを活用することで、THUMOS14、ActivityNet v1.2、v1.3で最先端の性能を達成し、境界局所化の向上と提案信頼度の向上により、先行手法を著しく上回る。

ABSTRACT

The object of Weakly-supervised Temporal Action Localization (WS-TAL) is to localize all action instances in an untrimmed video with only video-level supervision. Due to the lack of frame-level annotations during training, current WS-TAL methods rely on attention mechanisms to localize the foreground snippets or frames that contribute to the video-level classification task. This strategy frequently confuse context with the actual action, in the localization result. Separating action and context is a core problem for precise WS-TAL, but it is very challenging and has been largely ignored in the literature. In this paper, we introduce an Action-Context Separation Network (ACSNet) that explicitly takes into account context for accurate action localization. It consists of two branches (i.e., the Foreground-Background branch and the Action-Context branch). The Foreground- Background branch first distinguishes foreground from background within the entire video while the Action-Context branch further separates the foreground as action and context. We associate video snippets with two latent components (i.e., a positive component and a negative component), and their different combinations can effectively characterize foreground, action and context. Furthermore, we introduce extended labels with auxiliary context categories to facilitate the learning of action-context separation. Experiments on THUMOS14 and ActivityNet v1.2/v1.3 datasets demonstrate the ACSNet outperforms existing state-of-the-art WS-TAL methods by a large margin.

研究の動機と目的

• アクションとコンテキストの混同という弱教師付き時空間行動局所化（WS-TAL）における重要な課題に取り組む。ここでは、アクションと同時に現れるコンテキストスニペットが頻繁にアクションとして誤分類される。
• フォアグラウンドとバックグラウンドのみを区別する従来のアテンションベースの手法とは異なり、アクションとコンテキストの分離に向けた明示的でない監督と制約の欠如を克服する。
• フレームレベルのアノテーションを一切必要とせず、ビデオレベルのラベルを活用してアクションとコンテキストの分離表現を学習する手法を開発する。
• 明示的なアクション・コンテキスト分離により、より正確な提案と信頼性の高い信頼度スコアを生成することで、時空間行動局所化の精度を向上させる。

提案手法

• 二本のブランチアーキテクチャを導入する：フォアグラウンド・バックグラウンド（FB）ブランチは初期のフォアグラウンド／バックグラウンドの区別を担当し、アクション・コンテキスト（AC）ブランチはフォアグラウンドをさらにアクションとコンテキストに分離する。
• 各ビデオスニペットを、正と負の二つの潜在的コンponentの組み合わせとしてモデル化し、異なる構成がフォアグラウンド、アクション、またはコンテキストを表す。
• アクション・コンテキスト分離のための間接的監督を提供するために、補助的コンテキストカテゴリを含む拡張ビデオレベルラベルを活用し、明示的監督の欠如を補う。
• FBブランチでスニペットレベルのカテゴリカル予測（SCPs）とスニペットレベルのアテンション予測（SAPs）を適用し、ビデオレベル分類を支援する顕著なスニペットを特定する。
• ACブランチの出力を活用して、二重ストリーム統合機構により時空間行動提案を精緻化し、提案の信頼度スコアを向上させる。
• 正確なアクション局所化を促進すると同時に、強力なビデオレベル分類性能を維持する多タスク損失を用いてネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ビデオレベルの監督のみで、明示的なアクション・コンテキスト分離が弱教師付き時空間行動局所化における局所化精度を向上させ得るか？
• RQ2 補助的コンテキストカテゴリを訓練プロセスに効果的に統合することで、アテンションメカニズムがコンテキストとアクションを区別するように導けるか？
• RQ3 アクションとコンテキストの分離により、共起するコンテキストスニペットに起因する誤検出（フォールス・ポジティブ）はどの程度低減されるか？
• RQ4 潜在的コンponentモデリングを用いた二重ブランチアーキテクチャは、標準的なフォアグラウンド・バックグラウンドアテンションに比べ、境界の正確性と提案品質において優れているか？
• RQ5 本手法は、フレームレベルアノテーションを一切必要とせず、多様なデータセットやアクションカテゴリに一般化可能か？

主な発見

• THUMOS14テストセットにおいて、ACSNetはIoU=0.5で32.0%の平均平均精度（mAP）を達成し、${\widehat{\boldsymbol{\varphi}}_{a}}$と${\\widehat{\boldsymbol{\Psi}}}$を併用した場合、ベースライン比で100%の性能向上を示した。
• 提案評価ではACブランチがmAPの44.5%の向上に寄与し、提案生成では33.3%、$P_2$、$P_3$、$S_2$のアンブレーションスタディでは22.2%の寄与を示した。
• ActivityNet v1.3では、最先端の性能を達成し、以前のSOTA手法を大きく上回り、一般化能力を示した。
• アンブレーションスタディの結果、FBブランチの提案を削除し、${\widehat{\boldsymbol{\varphi}}_{a}}$と${\widehat{\boldsymbol{\Psi}}}$に依存する場合が最良の性能を示し、FBブランチの出力が誤解を招く可能性があることが示された。
• コンテキストに起因するフォールス・ポジティブを顕著に低減しており、THUMOS14におけるIoU=0.7での$\mathbb{S}_{c}$（コンテキスト）スコアが0.2と低く抑えられている一方で、$\mathbb{S}_{a}$（アクション）スコアは高い水準を維持している。
• 最近の完全教師ありTAL手法でさえも比較可能な性能を達成しており、弱教師あり条件下での明示的アクション・コンテキスト分離の有効性を示している。