[論文レビュー] Bridging Text and Video: A Universal Multimodal Transformer for Video-Audio Scene-Aware Dialog

Zekang Li, Zongjia Li+4 more|arXiv (Cornell University)|Feb 1, 2020

Multimodal Machine Learning Applications参考文献 24被引用数 22

ひとこと要約

本稿では、シーンに配慮した対話生成のため、動画、音声、キャプション、対話履歴を統合的に符号化するため、事前学習済みのGPT-2モデルをマルチタスク学習で微調整する汎用的マルチモーダルトランスフォーマーを提案する。テキスト、動画、音声の特徴を統一されたシーケンスに統合し、応答の言語モデリング、動画・音声シーケンスモデリング、キャプションの言語モデリングの3つのタスクで学習することで、DSTC8-AVSDベンチマークで自動評価および人的評価の両面で最先端の性能を達成した。

ABSTRACT

Audio-Visual Scene-Aware Dialog (AVSD) is a task to generate responses when chatting about a given video, which is organized as a track of the 8th Dialog System Technology Challenge (DSTC8). To solve the task, we propose a universal multimodal transformer and introduce the multi-task learning method to learn joint representations among different modalities as well as generate informative and fluent responses. Our method extends the natural language generation pre-trained model to multimodal dialogue generation task. Our system achieves the best performance in both objective and subjective evaluations in the challenge.

研究の動機と目的

• 複数のモダリティを効果的に統合することで、動画・音声対話におけるスムーズで文脈に根ざした応答を生成する課題に対処すること。
• より良い対話生成のため、テキスト、動画、音声間の共同表現学習を向上させること。
• 自己教師付きマルチタスク学習を用いて、GPT-2のような事前学習済み言語モデルをマルチモーダル対話生成に拡張すること。
• AVSDタスクにおいて、自動評価および人的評価の両面で最先端の結果を達成すること。

提案手法

• モデルは、動画、音声、キャプション、対話履歴の特徴を統合したユニフィードシーケンス入力を使用し、それぞれが固有のセグメントトークン（例：[video], [caption], [user1]）で前付される。
• 強力な言語生成能力を活用するため、事前学習済みGPT-2モデルを初期化に用いる。
• 3つの目的（応答言語モデリング（RLM）、動画・音声シーケンスモデリング（VASM）、キャプション言語モデリング（CLM））を用いたマルチタスク学習を採用する。
• すべてのモダリティでマスク言語モデリングを用いてエンドツーエンドで微調整し、共同表現を学習する。
• 動画および音声特徴は3次元畳み込みニューラルネットワーク（3D CNN）で処理され、音声埋め込みが視覚特徴と融合された後、トランスフォーマーに入力される。
• デコードにはビームサーチが用いられ、AVSDタスクにおける自動指標で最良の性能を示した。

実験結果

リサーチクエスチョン

• RQ1 GPT-2のような事前学習済み言語モデルは、動画および音声入力を用いてマルチモーダル対話生成に効果的に適応可能か？
• RQ2 応答生成、動画・音声シーケンスモデリング、キャプション再構築の3つのタスクでマルチタスク学習を適用することで、共同表現学習はどのように向上するか？
• RQ3 テキスト、動画、音声の統合符号化は、アテンション統合による別々のモダリティエンコーダーを上回るか？
• RQ4 キャプションや要約が利用できない状況で、対話履歴と動画・音声のみが利用可能な場合、モデルの性能はどの程度か？
• RQ5 文脈に根ざしたシーンに配慮した対話設定において、どのデコード戦略が最良の性能を発揮するか？

主な発見

• 本モデルは、DSTC8-AVSDの提出物の中で最も高い人的評価得点（3.934）を達成し、人間の基準スコア（4.000）に非常に近い結果を示した。
• テキスト＋動画設定では、前回のSOTAモデル（MTN）と比較してBLEU-4が0.056向上、CIDErが0.216向上した。
• テキストのみの設定では、DSTC7-AVSD優勝システムを上回り、BLEU-4が0.069向上、CIDErが0.185向上した。
• 動画・音声シーケンスモデリング（VASM）の導入により、フル入力設定でBLEU-4が0.011、CIDErが0.026向上した。
• ビームサーチデコードが自動指標で最良の性能を示し、グリーディサーチやヌクレアスサンプリングを上回った。
• マルチタスク学習を用いた場合、キャプション／要約が欠落したテキスト＋動画設定ではモデルの性能が著しく低下し、補助的监督なしでは動画表現学習に限界があることが示された。