[論文レビュー] MCQA: Multimodal Co-attention Based Network for Question Answering

Abhishek Kumar, Trisha Mittal+1 more|arXiv (Cornell University)|Apr 25, 2020

Multimodal Machine Learning Applications参考文献 28被引用数 11

ひとこと要約

MCQA は、共注意力メカニズムを用いてテキスト、音声、ビデオ入力を統合・アライメントするマルチモーダル共注意力ネットワークを提案する。Social-IQベンチマークにおいて、先行する最先端手法よりも4–7%の精度向上を達成し、マルチモーダルな文脈-質問アライメントおよび統合における優れた性能を示している。

ABSTRACT

We present MCQA, a learning-based algorithm for multimodal question answering. MCQA explicitly fuses and aligns the multimodal input (i.e. text, audio, and video), which forms the context for the query (question and answer). Our approach fuses and aligns the question and the answer within this context. Moreover, we use the notion of co-attention to perform cross-modal alignment and multimodal context-query alignment. Our context-query alignment module matches the relevant parts of the multimodal context and the query with each other and aligns them to improve the overall performance. We evaluate the performance of MCQA on Social-IQ, a benchmark dataset for multimodal question answering. We compare the performance of our algorithm with prior methods and observe an accuracy improvement of 4-7%.

研究の動機と目的

• 構造のない、現実世界の動画において因果的推論を要するマルチモーダル質疑応答の課題に対処すること。
• 先行手法が人間の性能（64.82% 対 95.08%）と著しく差をつける Social-IQ ベンチマークにおける性能向上。
• テキスト、音声、ビデオの3つのモダリティを効果的に統合・アライメントし、質問応答のための整合性のある文脈を生成するモデルの開発。
• 共注意力メカニズムを用いたクロスマダリティおよび文脈-質問アライメントにより、回答予測の精度を向上させること。
• 感情的・感情表現を含む言語がモデル性能に与える影響を調査し、感情的理解における限界を同定すること。

提案手法

• テキストには BERT 埋め込み、音声には COVAREP 特徴、ビデオには DenseNet161 特徴を用い、モダリティのアライメントには CMU-SDK を適用。
• 入力モダリティおよびクエリのシーケンスモデリングのため、双方向LSTM（BiLSTM）を適用。
• 共注意力を用いてテキスト、音声、ビデオ特徴を統合・アライメントし、統一された文脈表現へと統合するマルチモーダル統合・アライメントモジュールを実装。
• 統合された文脈と質問、回答クエリをソフトにアライメントするため、共注意力を用いたマルチモーダル文脈-クエリアライメントモジュールを導入。
• 学習された注意重みを用いた潜在表現生成機構を採用し、エンド・トゥ・エンドの訓練により最終的な回答予測を実現。
• 共注意力をモダリティ統合にとどまらず、クエリ-文脈マッチングにも活用し、モデルが文脈の関連部分に注目できるようにする。

実験結果

リサーチクエスチョン

• RQ1 共注意力メカニズムは、脚本のない現実世界の動画におけるテキスト、音声、ビデオという3つの異なるモダリティを、質問応答のための効果的なアライメントと統合に有効に活用できるか？
• RQ2 マルチモーダル文脈-クエリアライメントは、標準的な統合手法と比較して、回答予測の精度をどの程度向上させるか？
• RQ3 音声およびビデオモダリティの導入により、Social-IQデータセットにおける複雑な因果的推論を要する質問の性能はどの程度向上するか？
• RQ4 既存のモデルが感情表現や感情的にニュアンスのある質問でなぜ苦戦するのか、共注意力ベースのモデルはその問題を緩和できるか？
• RQ5 アブレーションスタディにより、各コンポonent（マルチモーダル統合、文脈-クエリアライメント）が全体のモデル性能に果たす寄与度はどの程度か？

主な発見

• MCQA は、特に A2（2択）および A4（4択）の回答選択タスクにおいて、先行する最先端手法よりも4–7%の精度向上を達成した。
• アブレーションスタディの結果、マルチモーダル統合およびアライメントコンポーネントを削除すると精度が 66.9% に低下し、性能に果たすその重要性が浮き彫りになった。
• 文脈-クエリアライメントモジュールを削除すると、精度が 67.4% に低下し、モデルが関連する文脈部分に注目するためのその重要性が確認された。
• MCQA およびベースラインモデルの両方が、感情や感情表現を含む言語を含む質問では性能が劣ることから、感情的理解における共通の限界が示された。
• モデルは MovieQA および TVQA データセットにおいても優れた性能を示し、LMN、FVTA、MSM、TFN、MFN などの手法を上回った。
• 定性的な結果から、MCQA は、誘導的要因が感情的または文脈的に類似した場合でも、複雑な社会的状況において正しく回答を特定できていることがわかった。