[論文レビュー] Learning Salient Boundary Feature for Anchor-free Temporal Action Localization

Chuming Lin, Chengming Xu+7 more|arXiv (Cornell University)|Mar 24, 2021

Human Pose and Action Recognition参考文献 40被引用数 18

ひとこと要約

本稿では、局所化のための明示的境界プーリングモジュールと境界一貫性学習（BCL）を用いて境界局所化を向上させる、完全にアンカーフリーな時系列行動局所化フレームワークAFSDを提案する。領域レベルの特徴ではなく、モーメントレベルの特徴に注目することで、THUMOS14で先行手法よりもmAP@0.5で3.7%の向上を達成し、提案数が少なく、ハイパーパramータチューニングも少ないため、より効率的である。

ABSTRACT

Temporal action localization is an important yet challenging task in video understanding. Typically, such a task aims at inferring both the action category and localization of the start and end frame for each action instance in a long, untrimmed video.While most current models achieve good results by using pre-defined anchors and numerous actionness, such methods could be bothered with both large number of outputs and heavy tuning of locations and sizes corresponding to different anchors. Instead, anchor-free methods is lighter, getting rid of redundant hyper-parameters, but gains few attention. In this paper, we propose the first purely anchor-free temporal localization method, which is both efficient and effective. Our model includes (i) an end-to-end trainable basic predictor, (ii) a saliency-based refinement module to gather more valuable boundary features for each proposal with a novel boundary pooling, and (iii) several consistency constraints to make sure our model can find the accurate boundary given arbitrary proposals. Extensive experiments show that our method beats all anchor-based and actionness-guided methods with a remarkable margin on THUMOS14, achieving state-of-the-art results, and comparable ones on ActivityNet v1.3. Code is available at https://github.com/TencentYoutuResearch/ActionDetection-AFSD.

研究の動機と目的

• アンカーベースおよびアクティビティガイドドの時系列行動局所化手法の非効率性とハイパーパramータへの感受性を解消すること。
• 不要な提案を減らし、事前に定義されたアンカーを排除する完全にアンカーフリーなフレームワークを構築すること。
• 領域レベルの文脈特徴ではなく、顕著なモーメントレベル特徴に注目することで、境界局所化の正確性を向上させること。
• フレームレベルとFPNレベルの特徴を統合し、一貫性制約を用いた境界特徴の精錬メカニズムを設計すること。
• 段階的分離を避けるために、分類と境界回帰を統合的に最適化するエンドツーエンド学習可能なモデルを実現すること。

提案手法

• 各位置からアクションクラスと時系列オフセットを出力する、エンドツーエンド学習可能なバックボーンと特徴ピラミッドネットワーク（FPN）およびシンプルな予測ヘッドを用いる。
• 従来の領域レベルプーリングに代わる、開始および終了領域からの最も顕著なモーメントレベル特徴を抽出する、新しい境界プーリングモジュールを提案する。
• 修正された真値信号と自己教師付きコントラスト学習を用いて、予測された境界信号と真値境界信号の間の一貫性を強制することで、境界一貫性学習（BCL）を実装する。
• 1次元畳み込みを用いてフレームレベル特徴とFPN特徴を統合する精錬モジュールを設計し、一貫性損失により頑健な特徴学習を促進する。
• 複数の損失項を用いてモデルを学習する：アクティビティ損失（ℓₐcₜ）、トリプレット損失（ℓₜᵣᵢₚ）、一貫性損失（ℓcₒₙ）で、いずれも境界検出性能の向上に寄与する。
• アンカー生成を完全に回避し、各時系列位置に対して1つの提案（アクションの開始および終了へのオフセットペア）を出力する。

Figure 1: Compared with actionness and anchor-based methods, anchor-free method is more efficient and flexible to produce fewer proposals without any extra classifier and pre-defined anchors.

実験結果

リサーチクエスチョン

• RQ1 アンカーフリーな時系列行動局所化モデルは、アンカーベースおよびアクティビティガイドド手法を上回る正確性と効率性を達成できるか？
• RQ2 モーメントレベルの顕著性特徴は、領域レベルの文脈特徴と比較して、境界局所化をどのように向上させるか？
• RQ3 アンカー非依存の提案メカニズムを用いる際、一貫性学習が境界特徴の精錬に果たす役割は何か？
• RQ4 統合的でエンドツーエンド学習可能なモデルは、段階的分離を避けて分類と境界回帰を同時に最適化できるか？
• RQ5 提案された境界プーリングは、平均、畳み込み、スタッキングベースのプーリングと比較して、特徴品質および局所化正確性においてどのように優れているか？

主な発見

• THUMOS14では、提案されたAFSDモデルが、SOTA手法よりもmAP@0.5で3.7%の向上を達成し、顕著な性能向上を示した。
• ActivityNet v1.3でも同等の結果を達成しており、THUMOS14で最適化されたにもかかわらず、データセット間での一般化性を示した。
• 最大値演算を用いた境界プーリングは、平均、畳み込み、スタッキングベースの実装と比較して、平均mAPでそれぞれ0.8%、0.9%、0.6%の向上を示した。
• すべての一致損失（ℓₐcₜ、ℓₜᵣᵢₚ、ℓcₒₙ）を含む完全なモデルが最良の性能を達成し、各損失項が0.7%のmAP向上に寄与した。
• 提案数が少なく、精錬モジュールも軽量であるため、AFSDの推論速度は既存手法よりも顕著に高速であり、詳細なfps結果は表3に報告されている。
• アブレーションスタディにより、フレームレベル特徴のみではmAPが1.1%低下することが確認され、FPN特徴との補完的役割が示された。

Figure 2: An action instance of cliff diving. Note that the start and end moments of the movement are more salient than others, which can bring us significant information to judge the boundary and completeness of the action.