[論文レビュー] Multimodal Dialogue State Tracking By QA Approach with Data Augmentation

Xiangyang Mou, Brandyn Sigouin+2 more|arXiv (Cornell University)|Jul 20, 2020

Multimodal Machine Learning Applications参考文献 21被引用数 5

ひとこと要約

本論文は、教師強制を用いて訓練する、マルチモーダル融合とアテンションを備えたシーケンス・ツー・シーケンスモデルを用いた、音声・映像シーン認識対話（AVSD）のマルチモーダルオープンドメインQAフレームワークを提案する。本研究では、対話履歴QAペアをシャッフルする独自のデータ拡張技術を導入し、汎化性能を向上させ、DSTC7-AVSDデータセットにおいてベースラインモデルを著しく上回る成果を達成した。

ABSTRACT

Recently, a more challenging state tracking task, Audio-Video Scene-Aware Dialogue (AVSD), is catching an increasing amount of attention among researchers. Different from purely text-based dialogue state tracking, the dialogue in AVSD contains a sequence of question-answer pairs about a video and the final answer to the given question requires additional understanding of the video. This paper interprets the AVSD task from an open-domain Question Answering (QA) point of view and proposes a multimodal open-domain QA system to deal with the problem. The proposed QA system uses common encoder-decoder framework with multimodal fusion and attention. Teacher forcing is applied to train a natural language generator. We also propose a new data augmentation approach specifically under QA assumption. Our experiments show that our model and techniques bring significant improvements over the baseline model on the DSTC7-AVSD dataset and demonstrate the potentials of our data augmentation techniques.

研究の動機と目的

• マルチモーダル対話状態追跡の課題に、それをオープンドメインの質問応答問題に再定式化することで対処すること。
• 生成された応答における時間的依存関係をモデル化することで、マルチモーダル対話における自然言語生成を改善すること。
• マルチモーダル設定における質問応答において、対話履歴の内容が順序よりも重要であるかどうかを調査すること。
• 対話履歴内のQAペアをシャッフルすることで、トレーニングデータの多様性を高めるデータ拡張戦略を開発すること。
• 教師強制とプーリング機構が、応答生成品質を向上させる有効性を評価すること。

提案手法

• 視覚的・聴覚的・文語的エンコーディングを統合するマルチモーダル統合を備えた、エンコーダ・デコーダアーキテクチャを採用し、共同表現学習を実現する。
• 対話履歴のシーケンスエンコーダとして双方向GRU（BiGRU）を用い、最大プーリングにより時間ステップ全体を通じての顕著な特徴を抽出する。
• 教師強制を用いて自己回帰的生成を強制し、次のステップの予測に正解トークンを入力とする。
• 対話履歴内のQAペアの順序をシャッフルすることで、トレーニングデータの多様性を高めるが、意味的コンテンツは保持するデータ拡張技術を導入する。
• スケジュールドサンプリングをベースライン比較として用いるが、トレーニング中にノイズの多い予測が生じるため、厳密な教師強制に比べて効果が劣ることが判明した。
• 質問表現とマルチモーダルコンテキスト表現の間のアライメントを向上させるために、クロスアテンション機構を適用する。

実験結果

リサーチクエスチョン

• RQ1 対話状態追跡をQAタスクとしてモデル化することで、マルチモーダル対話理解のパフォーマンスが向上するか？
• RQ2 対話履歴内のQAペアの順序は、正確な応答生成にとって重要であるか、それとも内容そのもので十分か？
• RQ3 教師強制は、マルチモーダル対話システムにおける応答生成の流暢さと正確性を向上させるのにどの程度有効か？
• RQ4 対話履歴のQAペアをシャッフルすることでデータ拡張を行うと、マルチモーダルQAにおける測定可能なパフォーマンス向上が得られるか？
• RQ5 プーリング戦略（最大プーリング対平均プーリング）とRNNバリアント（BiGRU 対 BiLSTM）のどの組み合わせが、最良の生成品質をもたらすか？

主な発見

• 教師強制により、BLEU、CIDErなどすべての評価指標で、教師強制なしのベースラインモデルと比較して30％から300％の向上が達成された。
• 最大プーリングが平均プーリングを上回り、対話履歴全体を通じて顕著な特徴を強調することで、BLEUとCIDErスコアが顕著に向上した。
• QAペアのシャッフルによりデータセットサイズを2倍に増やすという本研究のデータ拡張技術により、さらにモデルパフォーマンスが向上した。
• BiGRUはBiLSTMと同等のパフォーマンスを達成しており、この特定の設定ではLSTMにGRUよりも顕著な利点がないことが示された。
• スケジュールドサンプリングは教師強制に比べてパフォーマンス向上がなく、ノイズの多い予測によるトレーニングの不安定性を引き起こした。
• 教師強制なしではCIDErスコアが0.224にとどまったが、教師強制とデータ拡張を適用した後は顕著に向上した。