[論文レビュー] End-to-End Audio Visual Scene-Aware Dialog using Multimodal Attention-Based Video Features

Chiori Hori, Huda Alamri+11 more|arXiv (Cornell University)|Jun 21, 2018

Multimodal Machine Learning Applications参考文献 14被引用数 9

ひとこと要約

本論文では、動的ビデオシーンに関する自然言語応答を生成するエンドツーエンドの音声・視覚的シーン認識対話システムを提案する。動画、音声、対話履歴からのマルチモーダルアテンションベースの特徴を統合することで、ベースラインを著しく上回る応答品質を達成し、9,000件の動画対話から構成される新規データセットにおいて最先端のパフォーマンスを達成した。

ABSTRACT

Dialog systems need to understand dynamic visual scenes in order to have conversations with users about the objects and events around them. Scene-aware dialog systems for real-world applications could be developed by integrating state-of-the-art technologies from multiple research areas, including: end-to-end dialog technologies, which generate system responses using models trained from dialog data; visual question answering (VQA) technologies, which answer questions about images using learned image features; and video description technologies, in which descriptions/captions are generated from videos using multimodal information. We introduce a new dataset of dialogs about videos of human behaviors. Each dialog is a typed conversation that consists of a sequence of 10 question-and-answer(QA) pairs between two Amazon Mechanical Turk (AMT) workers. In total, we collected dialogs on roughly 9,000 videos. Using this new dataset for Audio Visual Scene-aware dialog (AVSD), we trained an end-to-end conversation model that generates responses in a dialog about a video. Our experiments demonstrate that using multimodal features that were developed for multimodal attention-based video description enhances the quality of generated dialog about dynamic scenes (videos). Our dataset, model code and pretrained models will be publicly available for a new Video Scene-Aware Dialog challenge.

研究の動機と目的

• リアルタイムで動的で視覚的・聴覚的シーンについて会話できるエンドツーエンドの対話システムの開発を目的とする。
• 人間と機械のインタラクションにおける静的画像ベースの視覚的対話と動的ビデオ理解の間のギャップを埋める。
• トレーニングおよび評価のための、ビデオに関する人間がアノテートした対話の新ベンチマークデータセットの構築を目的とする。
• 視覚（I3D）、聴覚（VGGish）、対話履歴（QA）のマルチモーダル特徴が応答生成品質を向上させるかどうかを評価する。
• 視覚的・聴覚的・言語的表現の共同最適化により、より自然で文脈的に正確な対話応答を実現するエンドツーエンド学習を可能にする。

提案手法

• モデルは、ビデオ（I3D RGBおよびフロー）、音声（VGGish）、対話履歴（質問・回答ペア）からの特徴を統合するマルチモーダルアテンション機構を備えたエンコーダ・デコーダアーキテクチャを採用する。
• ビデオ特徴はKineticsで事前学習されたI3Dネットワークを用いて抽出され、音声特徴はVGGishを用いて抽出され、両者とも統合前に256次元の空間に射影される。
• デコーダー段階で、動的かつ関連性のある視覚的・聴覚的・言語的特徴にマルチモーダルアテンション機構が適用され、文脈に応じた応答生成が可能になる。
• ADAM最適化アルゴリズムを用い、20エポックにわたり開発セットのパープレキシティを最小化するように、クロスエントロピー損失関数でエンドツーエンドに学習される。
• デコーダーには128ユニットの2層LSTMを用い、ビームサーチとn番目の最良仮説選択を用いて応答生成が行われる。
• 自動的視覚的・聴覚的特徴抽出の必要性を評価するため、人間がアノテートしたキャプションからの特徴を強力なベースラインとして用いる。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの対話システムは、マルチモーダル入力を利用することで、動的ビデオシーンについて効果的に応答を生成できるか？
• RQ2 視覚的・聴覚的・対話履歴特徴の異なる組み合わせが、シーン認識対話における応答品質にどのように影響するか？
• RQ3 マルチモーダルアテンション機構の統合は、モダリティの早期統合や後期統合と比較して、応答生成を改善するか？
• RQ4 ゼロショットまたは低リソース環境下で、自動抽出されたビデオ・音声特徴は人間がアノテートしたキャプションを上回るか？
• RQ5 人間がアノテートしたキャプションが利用できない現実世界の応用に、提案されたモデルは一般化可能か？

主な発見

• マルチモーダルアテンションを用いたQA + I3D + VGGishのモデルがCIDErスコア0.727を達成し、QAオンリーベースライン（CIDEr = 0.618）を著しく上回った。
• VGGish音声特徴の追加により、I3Dと組み合わせた際のCIDErスコアが0.701から0.727に向上し、聴覚モダリティの貢献度が明確になった。
• I3D特徴の単独追加（QA + I3D）により、CIDErは0.618から0.680に向上し、動画の動き特徴が応答品質向上に寄与することが示された。
• マルチモーダルアテンション機構の導入により、非アテンション統合（0.701 vs. 0.727）と比較してCIDErが4.4%相対的に向上し、特徴統合における有効性が確認された。
• QA + キャプション（人間がアノテート）のモデルはCIDEr 0.618を達成したが、これは自動特徴ベースのモデルに劣っており、学習された特徴が対話生成において人間のキャプションと同等またはそれを上回ることを示した。
• VGGishを組み込むことで、音楽や背景ノイズを正しく特定する音声関連の応答がより正確に生成された。これは、聴覚モダリティが知覚的正確性に与える影響を示している。