[論文レビュー] Dense-Captioning Events in Videos: SYSU Submission to ActivityNet Challenge 2020

Teng Wang, Huicheng Zheng+1 more|arXiv (Cornell University)|Jun 21, 2020

Multimodal Machine Learning Applications参考文献 11被引用数 5

ひとこと要約

本論文では、時系列的および意味的関係モデリングを用いた時系列的・意味的関係モジュール（TSRM）と、階層的RNNデコーダー内でのマルチモーダル統合を向上させるクロスモーダルゲーティング（CMG）ブロックを用いた2段階のドメイン特化型ビデオキャプションシステムを提示する。この手法は、ActivityNet Challenge 2020のテストセットで9.28のMETEORスコアを達成し、ドメイン特化型イベントキャプションにおける一貫性と正確性の向上を示している。

ABSTRACT

This technical report presents a brief description of our submission to the dense video captioning task of ActivityNet Challenge 2020. Our approach follows a two-stage pipeline: first, we extract a set of temporal event proposals; then we propose a multi-event captioning model to capture the event-level temporal relationships and effectively fuse the multi-modal information. Our approach achieves a 9.28 METEOR score on the test set.

研究の動機と目的

• ドメイン特化型ビデオキャプションにおけるイベント間の時系列的関係をモデル化する既存手法の限界を克服すること。
• 階層的シーケンス生成における視覚的および言語的特徴間のマルチモーダル統合を改善すること。
• イベントレベルの時系列的および意味的構造を明示的にモデル化することで、キャプションの一貫性と正確性を向上させること。
• ActivityNet 2020のドメイン特化型キャプションベンチマークで最先端のパフォーマンスを達成すること。

提案手法

• フレームワークは2段階のパイプラインを採用する：まず、既存のDBGモデルを用いて時系列的イベントプロポーザルを生成し、次に修正されたイベントシーケンス選択ネットワーク（ESGN）を用いて精度と再現率のバランスを最適化する。
• 時系列的・意味的関係モジュール（TSRM）は、時系列的および意味的関係のための別々のブランチを用いて、イベントプロポーザル間の相対的な時系列的位置/期間と意味的類似度を捉える。
• TSRMは関係スコアを要素ごとの加算により統合し、これらのスコアに条件付けられた重み付き和算によって関係特徴を生成する。
• クロスモーダルゲーティング（CMG）ブロックは、シグモイド活性化関数を用いた全結合層によって動的ゲート重みを学習することで、階層的RNNデコーダー内での視覚的および言語的特徴のバランスを適応的に制御する。
• 言語デコーダーは文レベルRNNと単語レベルRNNを備えた階層的RNNを採用し、単語RNNは各イベントプロポーザル内での顕著なフレームに注目するためにアテンションを用いる。
• モデルは交差エントロピー損失で訓練された後、露出バイアスを軽減しMETEORスコアを向上させるために自己批判的シーケンストレーニング（SCST）を実施する。

実験結果

リサーチクエスチョン

• RQ1 イベント間の時系列的関係を効果的にモデル化することで、ドメイン特化型ビデオキャプションの性能をどのように向上させられるか？
• RQ2 イベントレベルの意味的および時系列的関係の明示的モデリングが、キャプション品質に与える影響は何か？
• RQ3 クロスモーダルゲーティング機構は、階層的ビデオキャプションにおけるマルチモーダル統合をどのように向上させられるか？
• RQ4 自己批判的シーケンストレーニングは、複数のイベント出力を伴うドメイン特化型キャプションにおける生成性能をどのように向上させるか？
• RQ5 モデルアンサンブルおよびトレーニングデータ拡張は、テストセットにおける一般化性能をどの程度向上させるか？

主な発見

• 提案されたTSRMモジュールは、イベント間の時系列的および意味的関係をモデル化することで、キャプション性能を顕著に向上させ、関係モデリングなしの9.96から11.49へMETEORを向上させた。
• クロスモーダルゲーティング（CMG）ブロックの導入により、視覚的および言語的特徴の適応的統合が可能になり、アブレーションスタディではMETEORが11.31から11.49に向上した。
• 交差エントロピー訓練の後に自己批判的シーケンストレーニング（SCST）を実施したことで、検証セットのMETEORスコアが11.49から14.18に上昇し、露出バイアスの低減効果が示された。
• 検証セットの80％を含む拡大されたトレーニングセットを用いることで、検証セットのMETEORスコアは14.18から14.64に、テストセットのMETEORスコアは9.17から9.28に向上した。
• 異なるランダムシードを用いた3つのモデルのアンサンブルにより、テストセットのMETEORスコアは9.17から9.28に向上し、強力な一般化性能とロバストネスを示した。