[論文レビュー] From FiLM to Video: Multi-turn Question Answering with Multi-modal Context

Dat Tien Nguyen, Shikhar Sharma+2 more|arXiv (Cornell University)|Dec 17, 2018

Multimodal Machine Learning Applications参考文献 29被引用数 18

ひとこと要約

本稿では、マルチターン動画質問応答のための階層的エンコーダーデコーダーモデルであるFA-HREDを提案する。FiLM条件付きの音声・視覚特徴抽出を用いることで、現在の質問に条件づけられたI3DおよびVGGish特徴を活用し、スケジュールドサンプリングを適用することで、AVSDベースライン比でBLEU-4で16%相対的向上、CIDErで33%以上向上を達成し、会話システムにおけるマルチモodalな文脈統合の優位性を示した。

ABSTRACT

Understanding audio-visual content and the ability to have an informative conversation about it have both been challenging areas for intelligent systems. The Audio Visual Scene-aware Dialog (AVSD) challenge, organized as a track of the Dialog System Technology Challenge 7 (DSTC7), proposes a combined task, where a system has to answer questions pertaining to a video given a dialogue with previous question-answer pairs and the video itself. We propose for this task a hierarchical encoder-decoder model which computes a multi-modal embedding of the dialogue context. It first embeds the dialogue history using two LSTMs. We extract video and audio frames at regular intervals and compute semantic features using pre-trained I3D and VGGish models, respectively. Before summarizing both modalities into fixed-length vectors using LSTMs, we use FiLM blocks to condition them on the embeddings of the current question, which allows us to reduce the dimensionality considerably. Finally, we use an LSTM decoder that we train with scheduled sampling and evaluate using beam search. Compared to the modality-fusing baseline model released by the AVSD challenge organizers, our model achieves a relative improvements of more than 16%, scoring 0.36 BLEU-4 and more than 33%, scoring 0.997 CIDEr.

研究の動機と目的

• 視覚的・音声的・文脈的特徴を効果的に統合することで、マルチモーダルでマルチターンの動画質問応答の課題に取り組むこと。
• 階層的再帰ネットワークを用いて会話履歴と動画文脈を統合的にモデル化することで、AVSDベンチマークにおけるパフォーマンスを向上させること。
• FiLMベースの特徴条件付けを用いて低リソース環境下での過学習を低減し、モダリティ統合を強化すること。
• 補助的動画要約とモダリティ固有の特徴抽出の有効性を、会話生成において評価すること。

提案手法

• 会話履歴をモデル化するために、質問と回答のそれぞれに別個のLSTMを用いた階層的エンコーダーデコーダー（HRED）フレームワークを採用する。
• 定期的な間隔で動画と音声特徴を抽出するために、事前学習済みのI3DおよびVGGishモデルを用いる。
• 現在の質問埋め込みに条件づけられた動画および音声特徴を実現するため、FiLMブロックを適用し、モダリティ固有で質問に依存する特徴表現を可能にする。
• 複数のフレームにわたる時間的動画特徴に適応するため、FiLMを拡張したTime-Extended FiLMモジュールを導入する。
• 一般化を向上させるために、デコーダーをスケジュールドサンプリングで訓練し、推論にはビームサーチを用いる。
• 下流のQAタスクのための文脈表現を向上させるために、補助的なマルチタスクデコーダーを導入し、動画要約を生成する。

実験結果

リサーチクエスチョン

• RQ1 現在の質問に条件づけられた音声・視覚特徴を効果的に統合することで、動画質問応答の性能をどのように向上させられるか？
• RQ2 マルチモーダル統合において、連結や平均化と比較して、FiLMベースの特徴条件付けが果たす影響は何か？
• RQ3 スケジュールドサンプリングは、マルチターン動画会話システムにおける学習安定性とパフォーマンスにどのように影響するか？
• RQ4 テキスト的・要約信号と比較して、動画および音声特徴はパフォーマンスにどの程度寄与しているか？
• RQ5 補助的な動画要約は、マルチターン動画QAにおける回答生成の質を向上させることができるか？

主な発見

• FA-HREDモデルは、公式のAVSDテストセットにおいて、ベースラインモデル比でBLEU-4が16%相対的に向上（0.36）し、CIDErが33%以上向上（0.997）した。
• FiLMによるモダリティ条件付けは、あらゆる設定で一貫してパフォーマンスを向上させ、多様なモダリティを統合する際の過学習を低減した。
• 動画特徴（I3D）は音声特徴（VGGish）よりも顕著にパフォーマンス向上に寄与しており、視覚モダリティに高い情報密度があることを示唆している。
• 要約信号を用いるモデルは、キャプションを用いるモデルよりも優れた性能を示しており、会話生成において要約信号が画像レベルの記述よりも効果的であることを示している。
• アブレーションスタディの結果、テキスト・動画・要約の各コンポonentをFiLMで統合した場合が最高のパフォーマンス（BLEU-4: 0.1052）を示し、非-FiLM統合（0.1007）を上回った。
• スケジュールドサンプリングは、教師強制法と比較して検証パフォーマンスを0.004 BLEU-4向上させ、系列生成における一般化性能の向上を示した。