[論文レビュー] Multi-step Joint-Modality Attention Network for Scene-Aware Dialogue System

Yun-Wei Chu, Kuan-Yen Lin+2 more|arXiv (Cornell University)|Jan 17, 2020

Multimodal Machine Learning Applications参考文献 29被引用数 18

ひとこと要約

本論文では、再帰的ニューラルネットワーク（RNN）を用いて複数の推論ステップにわたり視覚的および言語的特徴を共同で注目するマルチステップ共同モダリティアテンションネットワーク（JMAN）を提案する。このモデルは、DSTC8 AVSDベンチマークにおいて、CIDErスコアでベースライン比22.4%の相対的向上を達成し、ROUGE-Lでは12.1%の向上を示した。これにより、動画対話タスクにおける優れたマルチモーダル理解と応答生成が実現された。

ABSTRACT

Understanding dynamic scenes and dialogue contexts in order to converse with users has been challenging for multimodal dialogue systems. The 8-th Dialog System Technology Challenge (DSTC8) proposed an Audio Visual Scene-Aware Dialog (AVSD) task, which contains multiple modalities including audio, vision, and language, to evaluate how dialogue systems understand different modalities and response to users. In this paper, we proposed a multi-step joint-modality attention network (JMAN) based on recurrent neural network (RNN) to reason on videos. Our model performs a multi-step attention mechanism and jointly considers both visual and textual representations in each reasoning process to better integrate information from the two different modalities. Compared to the baseline released by AVSD organizers, our model achieves a relative 12.1% and 22.4% improvement over the baseline on ROUGE-L score and CIDEr score.

研究の動機と目的

• 音声、視覚、言語入力を統合することで、動的な動画対話システムにおけるマルチモーダル理解の課題に対処すること。
• 複数のモダリティにわたる順序的な推論をモデル化することで、シーンに配慮した対話における応答生成の正確性を向上させること。
• 複雑な動画理解におけるクロスモダリティ特徴統合において、単一ステップのアテンション機構の限界を克服すること。
• 複数の推論ステップにわたり視覚的および言語的表現を共同で注目することで、DSTC8 AVSDベンチマークにおけるモデル性能を向上させること。
• 推論の深さと共同モダリティアテンションがマルチモーダル対話生成の質に与える影響を調査すること。

提案手法

• 再帰的ニューラルネットワーク（RNN）を用いて、動画および対話特徴に対してマルチステップ推論を実行し、注目度の段階的改善を可能にする。
• 視覚的特徴（RGB、オプティカルフロー）および言語的特徴（キャプション、要約、対話履歴）を共同で計算する共同モダリティアテンションネットワーク（JMAN）を導入する。
• 各推論ステップで、モダリティ固有の注目特徴（例：テキストの$C_n$、$S_n$、ビデオの$V_n$）を計算し、それらを統合された注目特徴$T_n$および$V_n$に統合する。
• 各ステップで、質問の埋め込みを関連する視覚的および言語的表現とアライメントさせるためのクロスアテンション機構を用いる。
• 要素ごとの連結と全結合層を用いて、複数のモダリティからの注目特徴を集約し、文脈に配慮した表現を生成する。
• 応答生成のための交差エントロピー損失を用いてエンドツーエンドでモデルを学習し、推論時にはビームサーチによるデコードを実行する。

実験結果

リサーチクエスチョン

• RQ1 マルチステップ推論は、単一ステップのアテンションと比較して、動画対話システムにおけるマルチモーダル理解をどのように向上させるか？
• RQ2 共同モダリティアテンションは、複雑な動画理解における視覚的および言語的モダリティ間の特徴統合をどの程度向上させるか？
• RQ3 パフォーマンスと計算コストのバランスを考慮した場合、マルチモーダル対話生成における最適な推論ステップ数は何か？
• RQ4 異なる入力モダリティ（動画特徴、キャプション、要約、対話履歴）は、応答生成の正確性にどの程度寄与するか？
• RQ5 複数のモダリティにわたる共同注目は、モダリティ固有の注目と比較して、オープンエンドの動画質問応答における曖昧さをどの程度低減できるか？

主な発見

• 提案されたJMANモデルは、DSTC8-AVSDデータセットにおいて、CIDErスコアでベースライン比22.4%の相対的向上を達成した。
• ROUGE-Lスコアでは12.1%の相対的向上が記録され、応答のなめらかさおよび内容カバレッジの向上を示した。
• 推論ステップ数が増えるにつれて性能が一貫して向上し、5ステップでピークに達したが、それ以上にステップ数を増やしても顕著な向上は見られなかった。
• 共同モダリティアテンション機構はモデルの理解力を顕著に向上させ、例として「彼は全期間、座ったままだった」といった明確な回答を可能にした。
• 定性的分析の結果、モデルは時間的ダイナミクスおよびオブジェクトの持続性をよりよく追跡できており、より詳細で文脈的に正確な応答を生成した。
• 最終的なDSTC8コンテストの結果では、主観的および客観的評価指標の両方で、公式ベースラインを上回る性能を示した。