[論文レビュー] Audio Visual Scene-Aware Dialog (AVSD) Challenge at DSTC7

Huda Alamri, Vincent Cartillier+9 more|arXiv (Cornell University)|Jun 1, 2018

Multimodal Machine Learning Applications参考文献 8被引用数 25

ひとこと要約

本論文は、DSTC7における音声視覚的シーン認識対話（AVSD）チャレンジを紹介し、動画、音声、対話履歴のマルチモーダル入力を用いて動的ビデオコンテンツに関する文脈的に適切な応答を生成するエンドツーエンド対話システムを訓練するための新規タスクおよびデータセットを提示する。チャレンジでは、nlg-evalを用いた自動評価指標を通じて自然で情報豊富な応答の生成能力を評価し、参加者はCHARADESおよびKineticsの動画から得た人間によるアノテーション付き対話データを用いて訓練を行う。

ABSTRACT

Scene-aware dialog systems will be able to have conversations with users about the objects and events around them. Progress on such systems can be made by integrating state-of-the-art technologies from multiple research areas including end-to-end dialog systems visual dialog, and video description. We introduce the Audio Visual Scene Aware Dialog (AVSD) challenge and dataset. In this challenge, which is one track of the 7th Dialog System Technology Challenges (DSTC7) workshop1, the task is to build a system that generates responses in a dialog about an input video

研究の動機と目的

• 動画、音声、対話履歴のマルチモーダル入力を用いて、動的ビデオシーンについて自然で文脈的に適切な応答を生成できるエンドツーエンド対話システムの開発を目的とする。
• 現在の対話システムにおけるギャップを埋めるために、静的画像理解をはるかに超えて、動画内の出来事や物体についてのシーン認識対話を可能にする。
• 統一されたベンチマークとチャレンジを通じて、動画記述、視覚的対話、エンドツーエンドニューラル対話モデルの統合を前進させることを目的とする。
• AVSDのための標準化された評価フレームワークを提供し、客観的指標（nlg-eval）と大規模な人間アノテーション付きデータセットを用いる。
• 7043件のトレーニング、732件のバリデーション、733件のテスト動画対話セッションを含むデータセットを公開することで、マルチモーダル、時間的、インタラクティブな対話システム分野の研究を促進することを目的とする。

提案手法

• AVSDチャレンジは2つのタスクを採用する：タスク1（動画とテキスト）とタスク2（テキストのみ）、それぞれに外部データを使用するか否かの2つのバージョン（a: 外部データなし；b: 外部データあり）を設ける。
• 参加者は、画像、動き、音声、スピーチのモダリティからの入力特徴を用いて、動画、音声、対話履歴に基づき対話応答を生成する必要がある。
• データセットは、アマゾンMechanical Turkを介して収集され、1人の作業者（回答者）が動画を視聴し、もう1人の作業者（質問者）が3つの静止画のみを参照して質問を投げかける。
• 10ターンの対話の後、質問者は出来事の要約となる動画記述を生成し、完全な対話ターンのシーケンスを形成する。
• トレーニングデータはCHARADESデータセット（7043件のトレーニング、732件のバリデーション、733件のテスト動画）から得られ、今後Kineticsへの拡張が計画されている。
• 評価はnlg-evalを用いて実施され、システム出力と正解応答を比較して自動指標（例：BLEU、METEOR、ROUGE、CIDER）を算出する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドニューラル対話モデルは、マルチモーダル入力を用いて、動的ビデオコンテンツについて文脈的に適切な応答をどれほど適切に生成できるか？
• RQ2 動画、音声、対話履歴を統合することで、テキストのみのベースラインと比較して応答品質がどの程度向上するか？
• RQ3 人間がアノテートした動画対話データで学習したシステムは、自然で情報豊かで時間的に整合性のある応答を一般化して生成できるか？
• RQ4 客観的評価指標（例：nlg-eval）は、マルチモーダル対話における応答品質の人的判断をどれほど正確に予測できるか？
• RQ5 外部データの使用が、音声視覚的シーン認識対話生成のパフォーマンスに与える影響は何か？

主な発見

• AVSDチャレンジは、CHARADESデータセットから得た7043件のトレーニング、732件のバリデーション、733件のテスト対話セッションを含む大規模なデータセットを提供する。対話と動画記述は人間がアノテートした。
• データセットは、動画内の時間的出来事や行動に焦点を当てたマルチターン対話の記録を保持しており、質問者は静止画のみを参照してシーンの動的変化を推測している。
• チャレンジは2つの主要なタスクをサポートする：(1) 動画とテキスト入力の使用、(2) テキストのみの使用で、外部データの使用または非使用を選択可能。
• 評価はnlg-evalを用いて実施され、応答品質を評価するための標準的な自動指標（BLEU、METEOR、ROUGE、CIDER）を算出する。
• データセットは、時間的、視覚的、聴覚的ヒントを統合することで、マルチモーダル対話、動画記述、視覚的対話分野の研究を支援するように設計されている。
• チャレンジは、現実世界の状況において動的ビデオシーンを理解し、それに応答できるエンドツーエンドの対話システムの訓練を前進させることを目的としている。