[論文レビュー] Multi-modal Feature Fusion with Feature Attention for VATEX Captioning Challenge 2020

Ke Lin, Zhuoxin Gan+1 more|arXiv (Cornell University)|Jun 5, 2020

Multimodal Machine Learning Applications参考文献 13被引用数 6

ひとこと要約

本論文は、動き、外観、意味、音声特徴を学習可能な特徴注意メカニズムを用いて統合するマルチモーダル動画キャプションモデルを提案する。トップダウンとX-LANデコーダーを組み合わせ、マルチステージトレーニング戦略を適用することで、英語のプライベートテストセットで76.0 CIDEr、中国語のプライベートテストセットで50.0 CIDErを達成し、VATEX Captioning Challenge 2020の両トラックで2位を獲得した。

ABSTRACT

This report describes our model for VATEX Captioning Challenge 2020. First, to gather information from multiple domains, we extract motion, appearance, semantic and audio features. Then we design a feature attention module to attend on different feature when decoding. We apply two types of decoders, top-down and X-LAN and ensemble these models to get the final result. The proposed method outperforms official baseline with a significant gap. We achieve 76.0 CIDEr and 50.0 CIDEr on English and Chinese private test set. We rank 2nd on both English and Chinese private test leaderboard.

研究の動機と目的

• 動き、外観、意味、音声からのマルチモーダル特徴を統合することで、動画キャプションのパフォーマンスを向上させること。
• マルチステージトレーニング戦略により、自己回帰的デコーディングにおける露出バイアス問題に対処すること。
• デコーディング中に多様なモダリティの間で動的注意重みを学習することで、特徴統合を強化すること。
• VATEX Captioning Challenge 2020の英語および中国語の両言語トラックで最先端のパフォーマンスを達成すること。

提案手法

• I3DおよびSlowFast 3D CNNを用いて動き特徴を抽出し、PNASNetで外観特徴を抽出し、Faster R-CNNで領域特徴を抽出し、ECOを用いて2D-3D統合特徴を生成する。
• 視覚特徴に対して多層パーセプトロンを適用し、予測された属性確率とトピック確率をフレームごとに連結・複製することで意味特徴を生成する。
• 16 kHzの音声からMELスペクトログ램のパッチを用い、VGGishを用いて音声特徴を抽出する。
• デコーダーの隠れ状態に基づくゲート付きメカニズムを用いて、デコーダーの隠れ状態に応じて動的重みを計算する特徴注意モジュールを実装する。
• 2つのデコーダーを採用：ボトムアップ注意を備えたトップダウンGRUベースのモデルと、双線形特徴選択にX-Linear注意を用いるX-LANモデル。
• 3段階のトレーニングパイプラインを適用：交差エントロピー損失、語レベルのオラクル、学習率を段階的に低下させる自己的中政策勾配トレーニング。

実験結果

リサーチクエスチョン

• RQ1 動き、外観、意味、音声特徴の共同モデリングが動画キャプションのパフォーマンス向上に寄与するか？
• RQ2 デコーディング中にマルチモーダル入力の重みを動的に調整する学習可能な特徴注意メカニズムは、どの程度効果的か？
• RQ3 アンサンブル学習を用いてトップダウンとX-LANデコーダーを組み合わせることで、個々のモデルよりも一般化性能が向上するか？
• RQ4 マルチステージトレーニング戦略は露出バイアスをどの程度軽減し、CIDErスコアを向上させるか？
• RQ5 提案手法は言語をまたいで一般化可能であり、英語および中国語の動画キャプションベンチマークで優れたパフォーマンスを発揮できるか？

主な発見

• アンサンブルモデルは英語のプライベートテストセットで76.0 CIDErを達成し、VATEX Captioning Challenge 2020の英語トラックで2位を獲得した。
• モデルは中国語のプライベートテストセットで50.0 CIDErを達成し、中国語トラックで2位を獲得した。
• X-LANは英語および中国語の両タスクにおいて、両検証セットでトップダウンモデルを上回った。
• 語レベルのオラクルと自己的中トレーニングを含むマルチステージトレーニング戦略が、CIDErスコアの向上に寄与した。
• 特徴注意モジュールはマルチモーダル特徴の有効な統合を可能にし、より文脈に配慮したキャプション生成を実現した。
• モデルは言語をまたいで強いゼロショット一般化性能を示し、英語および中国語の両テストセットで高いパフォーマンスを達成した。