[論文レビュー] iReason: Multimodal Commonsense Reasoning using Videos and Natural Language with Interpretability

Aman Chadha, Vinija Jain|arXiv (Cornell University)|Jun 25, 2021

Multimodal Machine Learning Applications参考文献 54被引用数 4

ひとこと要約

iReason は、動画と自然言語キャプションを統合して因果関係を推論するマルチモーダルフレームワークであり、動画入力用の標準フレーム検出モジュールと解釈可能性を高めるための因果的根拠提示モジュールを備えている。VCC や BERT/GPT-2 といった最先端モデルを複数のベンチマークで上回り、因果的イベント予測と解釈可能性の両面で優れた性能を示している。

ABSTRACT

Causality knowledge is vital to building robust AI systems. Deep learning models often perform poorly on tasks that require causal reasoning, which is often derived using some form of commonsense knowledge not immediately available in the input but implicitly inferred by humans. Prior work has unraveled spurious observational biases that models fall prey to in the absence of causality. While language representation models preserve contextual knowledge within learned embeddings, they do not factor in causal relationships during training. By blending causal relationships with the input features to an existing model that performs visual cognition tasks (such as scene understanding, video captioning, video question-answering, etc.), better performance can be achieved owing to the insight causal relationships bring about. Recently, several models have been proposed that have tackled the task of mining causal data from either the visual or textual modality. However, there does not exist widespread research that mines causal relationships by juxtaposing the visual and language modalities. While images offer a rich and easy-to-process resource for us to mine causality knowledge from, videos are denser and consist of naturally time-ordered events. Also, textual information offers details that could be implicit in videos. We propose iReason, a framework that infers visual-semantic commonsense knowledge using both videos and natural language captions. Furthermore, iReason's architecture integrates a causal rationalization module to aid the process of interpretability, error analysis and bias detection. We demonstrate the effectiveness of iReason using a two-pronged comparative analysis with language representation learning models (BERT, GPT-2) as well as current state-of-the-art multimodal causality models.

研究の動機と目的

• 視覚的および言語的モダリティを統合することで、マルチモーダルな因果推論のギャップを埋め、常識的知識を推論すること。
• 視覚・言語タスクに因果関係を組み込むことで、モデルのロバスト性と解釈可能性を向上させること。
• 静的画像やランダムフレームペアに依存する、あるいは解釈可能性に欠ける既存モデルの限界を克服すること。
• 専用の因果的根拠提示モジュールにより、エラー解析とバイアス検出を可能にすること。
• 因果的知識の統合が、多様な下流タスクに普遍的に適用可能であることを実証すること。

提案手法

• 動画をネイティブな入力として用い、因果推論に適した時間的に顕著なイベントを特定する標準フレーム検出モジュールを導入する。
• 自然言語キャプションを統合して視覚的イベント表現を豊かにし、因果推論に言語的文脈を提供する。
• 予測された因果関係の根拠を人間が読み取り可能な形で生成する因果的根拠提示モジュールを採用する。
• 事前学習済みのオブジェクト検出器から得られる視覚特徴と、BERT や GPT-2 からの文脈埋め込みを組み合わせてマルチモーダル入力を符号化する。
• 因果的関係を予測するための共同マルチモーダルエンコーダーを訓練し、対照的学習を用いて因果的ペアと非因果的ペアを区別する。
• 視覚的、言語的、マルチモーダルな文脈が因果予測に与える寄与を分離するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 動画と自然言語キャプションの共同モデリングは、単一モーダルまたは非因果的ベースラインと比較して、因果推論の精度を向上させるか？
• RQ2 因果的根拠提示モジュールの導入は、マルチモーダルモデルの解釈可能性を向上させるとともに、エラー解析を支援するか？
• RQ3 視覚的および言語的モダリティは、常識的因果関係を推論するうえで、どの程度互いに補完的か？
• RQ4 動画シーケンスからの標準フレーム検出は、ランダムフレーム選択や画像ベースのモデルと比較して、より優れた因果推論をもたらすか？
• RQ5 因果的知識の統合は、動画質問応答や濃密キャプションといった多様な下流タスクの性能向上に寄与するか？

主な発見

• iReason は、すべての指標で VCC zhang2020learning を上回り、VQA-CAUSAL データセットで R@5 38.71%、R@10 65.12% を達成した。これは、優れた因果的イベント検出性能を示している。
• iReason は、BERT ベースの設定で R@1 9.21%、GPT-2 ベースの設定で R@1 8.90% を達成し、ランダム推測（2.13%）や標準言語モデルを著しく上回った。
• 視覚的および言語的文脈の両方を用いたモデルが最も高い性能を示し、マルチモーダル文脈が単一モーダル入力よりも効果的であることを示した。
• アブレーションスタディの結果、言語的文脈のみを用いる場合が視覚的文脈のみを用いる場合を上回ったが、両者の組み合わせが最良の結果をもたらした。
• 因果的根拠提示モジュールは、予測のための解釈可能な根拠を効果的に生成でき、エラー解析とバイアス検出を可能にした。
• iReason は、濃密動画キャプション、動画質問応答、シーン理解といった多様なタスクで最先端の性能を示し、従来モデルを一貫して上回った。