[論文レビュー] Knowledge-Routed Visual Question Reasoning: Challenges for Deep Representation Embedding

Qingxing Cao, Bailin Li+3 more|arXiv (Cornell University)|Dec 14, 2020

Multimodal Machine Learning Applications参考文献 35被引用数 5

ひとこと要約

本論文は、外部知識を用いた複数ステップの推論を可能にするが、ショートカット学習を最小限に抑えるように設計された、知識ルーティング型視覚質問応答（KRVQR）データセットを導入する。質問は、Visual Genomeの1つまたは2つの三項集合と知識ベースから選択された制御されたプログラムによって生成され、画像のオブジェクトに関連する知識三項集合は1つだけに制限されており、すべてのテスト知識は学習時に未見であることを保証している。これにより、モデルは視覚的文脈と背景知識の両方を推論する必要が生じる。実験の結果、現在の深層学習モデルは知識事前学習を用いて微調整した場合でも22.23%の正確性にとどまり、知識の取得と推論における顕著な制限を示しており、真の推論能力を有するモデルとそうでないモデルとの間には大きなギャップが存在することが明らかになった。

ABSTRACT

Though beneficial for encouraging the Visual Question Answering (VQA) models to discover the underlying knowledge by exploiting the input-output correlation beyond image and text contexts, the existing knowledge VQA datasets are mostly annotated in a crowdsource way, e.g., collecting questions and external reasons from different users via the internet. In addition to the challenge of knowledge reasoning, how to deal with the annotator bias also remains unsolved, which often leads to superficial over-fitted correlations between questions and answers. To address this issue, we propose a novel dataset named Knowledge-Routed Visual Question Reasoning for VQA model evaluation. Considering that a desirable VQA model should correctly perceive the image context, understand the question, and incorporate its learned knowledge, our proposed dataset aims to cutoff the shortcut learning exploited by the current deep embedding models and push the research boundary of the knowledge-based visual question reasoning. Specifically, we generate the question-answer pair based on both the Visual Genome scene graph and an external knowledge base with controlled programs to disentangle the knowledge from other biases. The programs can select one or two triplets from the scene graph or knowledge base to push multi-step reasoning, avoid answer ambiguity, and balanced the answer distribution. In contrast to the existing VQA datasets, we further imply the following two major constraints on the programs to incorporate knowledge reasoning: i) multiple knowledge triplets can be related to the question, but only one knowledge relates to the image object. This can enforce the VQA model to correctly perceive the image instead of guessing the knowledge based on the given question solely; ii) all questions are based on different knowledge, but the candidate answers are the same for both the training and test sets.

研究の動機と目的

• ショートカット学習とアノテーターのバイアスを最小限に抑える、知識に基づく視覚質問応答（VQA）の信頼できる評価ベンチマークの不足を解消すること。
• 学習データに存在しない未見の知識組み合わせへの一般化能力をテストすることで、現在の深層学習モデルを挑戦すること。モデルが表面的な相関に依存するのではなく、視覚的文脈と外部知識の両方を推論する必要があるように設計されている。
• 三項集合選択と回答分布に対する厳密な制約を課すことにより、画像や質問のバイアスから知識を分離すること。
• 現在のVQAモデルが、記憶に依存するのではなく、真の推論能力を有しているかどうかを、未学習の知識組み合わせへの一般化能力を評価することで検証すること。

提案手法

• Visual Genomeのシーングラフまたは外部知識ベースから1つまたは2つの三項集合を選択する厳密に制御されたプログラムを用いて、質問-回答ペアを生成する。
• 画像のオブジェクトに関連する知識三項集合が1つだけであることを制約することで、モデルが質問だけに依存して推測するのを防ぎ、視覚的証拠を認識する必要があるようにする。
• すべてのテスト質問が、学習時に未見の知識三項集合に基づいていることを保証し、未学習の知識組み合わせへの一般化能力をテストする。
• ガイドドアテンションブロックを用いて、画像特徴と取得した知識三項集合を統合し、視覚的およびテキスト的証拠の両方を用いた多段階推論を可能にする。
• 三項分類とマスクされたトークン予測を用いて、知識ベースの表面テキスト上で質問エンコーダーを事前学習させ、知識のエンコーディングを向上させる。
• KRVQRデータセット上で、知識事前学習を施したMCANモデルを微調整し、推論および取得能力を評価する。

実験結果

リサーチクエスチョン

• RQ1 学習データに含まれない未見の知識三項集合に対して、VQAモデルは一般化できるか。これは、真の推論能力（記憶の再現ではなく）を示す。
• RQ2 現在の深層学習モデルは、回答予測のための大きな知識ベースから関連する知識を取得・利用する能力にどの程度欠けているか。
• RQ3 回答の監視情報だけでは不十分な状況において、知識事前学習はVQAモデルの外部知識に基づく推論能力をどの程度向上させるか。
• RQ4 知識三項集合に対して一意の視覚的根拠を課すことで、モデルが質問-回答のショートカットに依存するのを防げるか。
• RQ5 知識集約的推論の文脈において、真の支援事実にアクセスできるモデルとそうでないモデルとの間の性能ギャップはどの程度か。

主な発見

• 知識事前学習を施したMCANモデルは、全体で22.23%の正確性にとどまり、現在の深層モデルが回答の監視情報だけでは知識を活用できないことが示された。
• 微調整の第5および第6エポック以降、損失は改善されたものの、モデルの性能が低下した。これは、学習データに過剰適合している可能性を示しており、未学習の知識への一般化が極めて困難であることを裏付けた。
• 知識事前学習を施しても、上位16個の知識三項集合を取得した場合、ベースラインからわずか0.78%の向上にとどまり、知識取得の有効性が限定的であることが示された。
• 知識推論を施したモデルは26.34%の正確性を達成し、ブラックボックスモデルの20.69%を大きく上回った。これは、真の支援事実が性能に極めて重要であることを証明した。
• マスクされたトークン事前学習を用いた場合の22.23%の正確性は、知識エンコーディングが可能である一方で、未学習の知識組み合わせへの一般化に失敗していることを示している。
• 結果から、KRVQRデータセットがショートカット学習を効果的に防止し、深層埋め込みモデルの知識推論における現在の限界を明らかにしていることが検証された。