[論文レビュー] Augmented 2D-TAN: A Two-stage Approach for Human-centric Spatio-Temporal Video Grounding

Chaolei Tan, Zihang Lin+3 more|arXiv (Cornell University)|Jun 20, 2021

Multimodal Machine Learning Applications参考文献 6被引用数 4

ひとこと要約

本稿では、時間的・空間的動画定位を人間中心に扱う二段階手法であるAugmented 2D-TANを提案する。Bi-LSTM集約モジュールとランダム連結拡張（RCA）を用いて、時間的定位の精度を向上させ、HC-STVGテストセットで31.9%の平均viouを達成し、最先端の性能を実現した。

ABSTRACT

We propose an effective two-stage approach to tackle the problem of language-based Human-centric Spatio-Temporal Video Grounding (HC-STVG) task. In the first stage, we propose an Augmented 2D Temporal Adjacent Network (Augmented 2D-TAN) to temporally ground the target moment corresponding to the given description. Primarily, we improve the original 2D-TAN from two aspects: First, a temporal context-aware Bi-LSTM Aggregation Module is developed to aggregate clip-level representations, replacing the original max-pooling. Second, we propose to employ Random Concatenation Augmentation (RCA) mechanism during the training phase. In the second stage, we use pretrained MDETR model to generate per-frame bounding boxes via language query, and design a set of hand-crafted rules to select the best matching bounding box outputted by MDETR for each frame within the grounded moment.

研究の動機と目的

• 自然言語を用いて人物の時間的・空間的局所化を実行する、人間中心のスパatiotemporal動画定位（HC-STVG）の課題に対処すること。
• 最大プーリングによる特徴表現の非特徴的性や過学習の問題を抱える既存の2D-TANモデルの限界を克服すること。
• 特徴集約とデータ拡張戦略の強化により、時間的定位の精度を向上させること。
• 時間的定位とフレームごとの参照を組み合わせた二段階パイプラインを用いて、HC-STVGベンチマークで最先端の性能を達成すること。

提案手法

• 2D-TANにおける最大プーリングを置き換えるためのBi-LSTM集約モジュールを提案し、モーメント特徴の長期的時間的変動をより良くモデル化できるようにする。
• 訓練中に2つの動画とそのクエリをランダムに連結するランダム連結拡張（RCA）戦略を設計し、データの多様性を高め、過学習を軽減する。
• 有効なモーメント提案（i ≤ j）に対してはBi-LSTM集約モジュールを用いて計算される2D特徴マップ M ∈ ℝ^{N×N×c} を構築し、それ以外は0とする。
• 事前学習済みのMDETRモデルを用いて、各フレームのバウンディングボックス候補と関連するテキストを生成し、ルールベースのフィルタリングにより関連性の高いボックスを選択する。
• 入力文から主語を抽出するために依存解析器を適用し、主語と一致しない、もしくは複数人の人物を含むMDETR出力をフィルタリングする。
• フィルタリング済みのセットから、最も長い関連テキストを持つバウンディングボックスを、局所化された時間的セグメント内の各フレームの最終的な空間的予測として選択する。

実験結果

リサーチクエスチョン

• RQ1 2D-TANにおける最大プーリングと比較して、Bi-LSTMベースの集約モジュールは、モーメント特徴の判別性を向上させることができるか？
• RQ2 ランダム連結拡張（RCA）は、HC-STVGにおける過学習を効果的に軽減し、一般化性能を向上させることができるか？
• RQ3 時間的定位とフレームごとの参照を組み合わせた二段階パイプラインは、空間的局所化の精度を向上させることができるか？
• RQ4 Bi-LSTM集約とRCAを組み合わせた際の、全体的なHC-STVG性能への影響は何か？
• RQ5 本手法は、HC-STVGベンチマークで既存の最先端手法と比較して、どのように優れているか？

主な発見

• Bi-LSTM集約モジュールにより、検証スプリットにおけるviou@0.5スコアが16.7%から18.8%に向上し、より良い特徴表現が実現した。
• ランダム連結拡張（RCA）により、検証スプリットにおけるviou@0.5スコアが16.7%から17.0%に向上し、一般化性能の向上が示された。
• アブレーションスタディにより、Bi-LSTMとRCAの両方が一貫して性能向上に寄与しており、組み合わせた手法では検証セットで30.4%のviou@0.5を達成した。
• 10個のAugmented 2D-TANモデルのアンサンブルは、HC-STVGテストセットで31.9%の平均viouを達成し、リーダーボードに掲載されたすべての先行手法を上回った。
• 本手法はテストセットで52.7%のviou@0.3および56.5%のtiouを達成し、HC-STVGベンチマークにおける最先端の性能を確認した。