[論文レビュー] Learning Sparse 2D Temporal Adjacent Networks for Temporal Action Localization

Songyang Zhang, Houwen Peng+3 more|arXiv (Cornell University)|Dec 8, 2019

Human Pose and Action Recognition参考文献 6被引用数 7

ひとこと要約

本論文は、提案の長さに応じた構造的でスパースなサンプリング戦略を用いて、提案間の長距離時系列的依存関係をモデル化することで、提案長にわたる文脈認識のバランスを取ることで、時系列行動検出を改善するためのスパース2次元時系列隣接ネットワーク（S-2D-TAN）を提案する。この手法は、HACSテストセットで23.49 mAPを達成し、2019年のコンテストで優勝した。これは、2D-TANにおける文脈の不均衡問題を、コンactな階層的特徴マップ処理と別個の行動分類器によるスコア統合によって効果的に軽減した結果である。

ABSTRACT

In this report, we introduce the Winner method for HACS Temporal Action Localization Challenge 2019. Temporal action localization is challenging since a target proposal may be related to several other candidate proposals in an untrimmed video. Existing methods cannot tackle this challenge well since temporal proposals are considered individually and their temporal dependencies are neglected. To address this issue, we propose sparse 2D temporal adjacent networks to model the temporal relationship between candidate proposals. This method is built upon the recent proposed 2D-TAN approach. The sampling strategy in 2D-TAN introduces the unbalanced context problem, where short proposals can perceive more context than long proposals. Therefore, we further propose a Sparse 2D Temporal Adjacent Network (S-2D-TAN). It is capable of involving more context information for long proposals and further learning discriminative features from them. By combining our S-2D-TAN with a simple action classifier, our method achieves a mAP of 23.49 on the test set, which win the first place in the HACS challenge.

研究の動機と目的

• 2D-TANにおける文脈認識の不均衡問題、特に特徴抽出中に短い提案が長い提案よりも多くの文脈にアクセスするという問題を解決すること。
• スパースで階層的なサンプリング戦略を用いて、候補提案間の時系列的関係を明示的にモデル化することで、時系列行動検出を改善すること。
• 提案長に基づいて特徴マップをコンパクトなサブマップに再構成することで、長い提案のための特徴学習を強化すること。
• 重複スコア予測と独立した行動分類の統合を通じて、HACSデータセットで最先端の性能を達成すること。

提案手法

• 本手法は、行が候補提案の開始時刻、列が終了時刻を表す2次元時系列マップを構築し、SlowFastバックボーンから得られる特徴マップを用いる。
• 提案は長さに応じてスパースにサンプリングされる：短い場合（≤N/4）は密に、中程度の長さ（N/4 < l ≤ N/2）はストライド2、長い場合（N/2 < l ≤ N）はストライド4で、3つのコンパクトなサブマップを形成する。
• 各サブマップは、カーネルサイズ9とゼロパディングを用いた共有の4層畳み込みネットワークで処理され、空間次元を維持した後、元のマップレイアウトに特徴を回復する。
• 重複スコアは全結合層とシグモイド活性化関数を用いて予測され、IoU閾値t_min=0.5とt_max=1.0を用いたソフトバイナリクロスエントロピー損失が使用される。
• 別個の行動分類器は、IoU > 0.5の提案に対して訓練され、全結合層とソフトマックスを用いてクラススコアを予測する。
• 最終的な検出スコアは、重複スコアと分類スコアの要素ごとの積算後、NMSを適用して推論を行う。

実験結果

リサーチクエスチョン

• RQ1 時系列行動検出において、提案間の時系列的依存関係を効果的にモデル化することで、特徴学習をどのように改善できるか？
• RQ2 短い提案と長い提案の間で生じる文脈認識の不均衡が2D-TANの性能に及ぼす影響はどの程度で、どのように是正できるか？
• RQ3 階層的で長さに依存するサンプリング戦略は、提案持続時間にわたる特徴表現とモデル一般化能力の向上に寄与するか？
• RQ4 重複スコア予測と独立した行動分類の統合は、トリムムビデオデータセットにおける検出精度を向上させるか？

主な発見

• 提案されたS-2D-TANは、HACSテストセットで23.49 mAPを達成し、2019年時系列行動検出コンテストで1位を獲得した。
• アブレーションスタディの結果、受容 field を1層から9層に拡大することで、AR@100は49.85%から63.25%に、AUCは42.32%から58.11%に向上した。
• 受容 field を一定に保ったまま候補提案数を増加させることで、AR@100は55.24%（行3）から63.25%（行2）に向上した。
• 長さに基づくサブマップ処理を伴うスパース畳み込み戦略により、AR@100は67.25%、AUCは62.40%に向上（行1）、標準的な2D-TANを上回った。
• 最終的なS-2D-TANと別個の行動分類器の統合により、HACSテストセットで最高のmAP23.49が達成された。