[論文レビュー] Zero-shot Visual Question Answering using Knowledge Graph

Zhuo Chen, Jiaoyan Chen+4 more|arXiv (Cornell University)|Jul 12, 2021

Multimodal Machine Learning Applications参考文献 29被引用数 5

ひとこと要約

本論文は、外部の知識と画像・質問のペアをマスクベースの学習で整合させるために知識グラフを用いたゼロショット視覚的質疑応答（ZS-VQA）手法を提案する。これにより、未学習の答えの正確な予測が可能になる。ZS-VQAにはハードマスクを、標準VQAにはソフトマスクを適用することで、未学習の答えに対する最先端の性能を達成し、F-VQAデータセットにおけるベースラインのエンドツーエンドモデルの性能を顕著に向上させる。

ABSTRACT

Incorporating external knowledge to Visual Question Answering (VQA) has become a vital practical need. Existing methods mostly adopt pipeline approaches with different components for knowledge matching and extraction, feature learning, etc.However, such pipeline approaches suffer when some component does not perform well, which leads to error propagation and poor overall performance. Furthermore, the majority of existing approaches ignore the answer bias issue -- many answers may have never appeared during training (i.e., unseen answers) in real-word application. To bridge these gaps, in this paper, we propose a Zero-shot VQA algorithm using knowledge graphs and a mask-based learning mechanism for better incorporating external knowledge, and present new answer-based Zero-shot VQA splits for the F-VQA dataset. Experiments show that our method can achieve state-of-the-art performance in Zero-shot VQA with unseen answers, meanwhile dramatically augment existing end-to-end models on the normal F-VQA task.

研究の動機と目的

• オープンワールドのシーン理解における未学習の答えを有するゼロショットVQAの課題に対処する。
• パイプラインベースのVQA手法における誤差の累積を回避するため、統合的かつエンドツーエンド互換性を持つフレームワークを導入する。
• 未学習の答えへのゼロショット一般化を評価するため、新しいZS-F-VQAデータセットを構築する。
• 適応的マスク戦略を用いて、標準VQAとZS-VQAの両タスクに柔軟に適用可能なモデルを実現する。
• 知識グラフによる整合性を統合することで、既存のエンドツーエンドモデルの性能を向上させる。

提案手法

• 画像・質問の統合埋め込みの整合性を図るため、意味的（関係）、オブジェクト的（サポートエンティティ）、知識的（答え）の3つの特徴マッピング空間を学習する。
• すべてのトリプルを含む事実ベースの知識グラフから、サポートエンティティおよび関係に基づいてマスク生成を誘導するマッピングテーブルを構築する。
• 未学習の答えを予測するZS-VQAタスクでは、高信頼度の整合性スコアを制約としてハードマスクを適用する。
• 標準VQAタスクでは、誤差の累積を軽減するため、低い信頼度のガイダンスを用いて段階的に予測を是正するソフトマスクを適用する。
• I-Qペアとターゲットエンティティ／関係の類似度スコアが100以上かどうかの閾値を用いて、ハードマスクとソフトマスクの適用を区別する。
• マスク機構を答え予測ヘッドに統合し、知識グラフの整合性に基づいて予測スコアを動的に調整する。

実験結果

リサーチクエスチョン

• RQ1 知識グラフに基づくアプローチは、学習時に一度も現れなかった答えを視覚的質疑応答で効果的に予測できるか？
• RQ2 ゼロショット状況での強いガイダンスと、標準VQAにおける最小限の干渉のバランスを取るために、どのようにマスク戦略を設計できるか？
• RQ3 知識グラフからの外部知識は、VQAにおける未学習の答えへの一般化をどの程度向上できるか？
• RQ4 知識グラフ内のサポートエンティティおよび関係の数が異なる場合、モデルの性能はどのように変化するか？
• RQ5 本手法は、アーキテクチャの変更なしに、ゼロショットと標準VQAの両タスクに柔軟に適用可能か？

主な発見

• 提案手法は、新規に構築されたZS-F-VQAデータセットにおいて最先端の性能を達成し、未学習の答え予測において既存手法を30–40%上回る。
• 標準F-VQAベンチマークでは、ベースラインのエンドツーエンドモデルの精度を6–9%向上させ、あらゆるタスクで一貫した向上を示した。
• ハードマスクは、特に学習データが限られる状況で、知識グラフの事実と強い整合性を保つことで、ゼロショット設定での性能を顕著に向上させる。
• ソフトマスクは、誤差の累積を軽減するため、標準VQA設定でより効果的であり、誤った事前の予測に過剰に依存するのを避けるための穏やかな制約として機能する。
• モデルは高い解釈性を示す。可視化結果から、ベースラインモデルが表面的なパターンや記憶された答えに依存するのに対し、本手法は構造化された知識を活用して予測を誘導していることが確認された。
• 確率的スコアリング機構により、複数の妥当な答え、特にレアまたは未学習の答えを順位付けできるため、多答え予測に対しても良好な一般化性能を示した。