[論文レビュー] Scale Matters: Temporal Scale Aggregation Network for Precise Action Localization in Untrimmed Videos

Guoqiang Gong, Liangfeng Zheng+2 more|arXiv (Cornell University)|Aug 2, 2019

Human Pose and Action Recognition参考文献 57被引用数 4

ひとこと要約

本稿では、非トリム動画における変動する継続時間のアクションインスタンスを扱うために、マルチスケールの文脈特徴を統合するマルチブランチアーキテクチャを用いた時間スケール集約ネットワーク（TSA-Net）を提案する。3つの重要な境界点（開始、中央、終了）を検出するとともに、マルチスケールの文脈特徴を統合することで、THUMOS14で46.9%のmAP@0.5、ActivityNet-1.3で平均34.62%のmAPを達成し、最先端の性能を実現した。

ABSTRACT

Temporal action localization is a recently-emerging task, aiming to localize video segments from untrimmed videos that contain specific actions. Despite the remarkable recent progress, most two-stage action localization methods still suffer from imprecise temporal boundaries of action proposals. This work proposes a novel integrated temporal scale aggregation network (TSA-Net). Our main insight is that ensembling convolution filters with different dilation rates can effectively enlarge the receptive field with low computational cost, which inspires us to devise multi-dilation temporal convolution (MDC) block. Furthermore, to tackle video action instances with different durations, TSA-Net consists of multiple branches of sub-networks. Each of them adopts stacked MDC blocks with different dilation parameters, accomplishing a temporal receptive field specially optimized for specific-duration actions. We follow the formulation of boundary point detection, novelly detecting three kinds of critical points (ie, starting / mid-point / ending) and pairing them for proposal generation. Comprehensive evaluations are conducted on two challenging video benchmarks, THUMOS14 and ActivityNet-1.3. Our proposed TSA-Net demonstrates clear and consistent better performances and re-calibrates new state-of-the-art on both benchmarks. For example, our new record on THUMOS14 is 46.9% while the previous best is 42.8% under mAP@0.5.

研究の動機と目的

• 変動するアクション継続時間に起因する非トリム動画における時間的境界局所化の不正確さという課題に対処する。
• 固定受容 field モデルや単一スケール手法の限界を克服し、多様なアクション長を効果的に処理する。
• 新しいマルチブランチネットワーク設計により、マルチスケール時間的文脈を統合することで、提案の品質を向上させる。
• 学習可能な適合性関数を用いて開始、中央、終了点を同時に回帰することで、境界検出の信頼性を高める。
• 重い空間時間的特徴に依存せずに、大規模なベンチマークで最先端の性能を達成する。

提案手法

• 異なる率を用いたドレージョン畳み込みを組み合わせることで、受容 field を効率的に拡大するマルチダイレーショントランスミッション時間畳み込み（MDC）ブロックを提案する。
• スタックされたMDCブロックにおける異なるドレージョン率を用いて、各ブランチを異なるアクション継続時間スケールに特化させる3ブランチのネットワークアーキテクチャを設計する。
• アクション局所化を境界点検出タスクとして定式化し、開始、中央、終了の3種類の重要な点を検出する。
• 検出された開始点と終了点をペairリングすることで提案を生成し、学習されたペアワイズ適合性関数を用いて信頼度スコアを計算する。
• 各提案のベイジアン信頼度を回帰する軽量サブネットワークを統合し、局所化精度を向上させる。
• 2段階のフレームワークを採用する：まず境界検出により提案を生成し、次に適合性に敏感なスコアリング機構を用いてそれを精緻化する。

実験結果

リサーチクエスチョン

• RQ1 マルチダイレーショントランスミッション時間畳み込みは、多様なアクション継続時間にわたる長距離時間的文脈を効果的に捉えることができるか？
• RQ2 異なるドレージョン率を特化させたマルチブランチアーキテクチャは、単一ブランチモデルと比較して境界局所化を改善するか？
• RQ3 開始、中央、終了点の共同検出は、従来の2点検出と比較して提案の品質を向上させるか？
• RQ4 提案のスコアリングと誤検出の低減において、提案された適合性関数はどの程度効果的か？
• RQ5 THUMOS14 や ActivityNet-1.3 といった標準ベンチマークにおいて、提案手法は既存の最先端手法をどの程度上回るか？

主な発見

• THUMOS14では46.9%のmAP@0.5を達成し、同じIoU閾値下で前回の最先端（SOTA）の42.8%を顕著に上回った。
• ActivityNet-1.3では平均34.62%のmAPを達成し、前回の最高記録（32.84%）を上回り、新たな最先端を樹立した。
• 提案された適合性関数により、THUMOS14におけるAR@ANが2.0ポイント向上し、提案スコアの精緻化における有効性が裏付けられた。
• P3D特徴量を用いることで、THUMOS14でmAP@0.3が48.3%に達し、IoU閾値にわたる一般化性能の高さが示された。
• 異なるドレージョン率を有するマルチブランチ設計は、0.3から0.7までの全IoU閾値で一貫して性能向上を示した。
• アブレーションスタディにより、MDCブロックと3点検出戦略の両方がモデルの優れた性能を実現するために不可欠であることが確認された。