[論文レビュー] Object-Centric Diagnosis of Visual Reasoning

Jianwei Yang, Jiayuan Mao+5 more|arXiv (Cornell University)|Dec 21, 2020

Multimodal Machine Learning Applications参考文献 60被引用数 10

ひとこと要約

本稿では、GQAデータセットを用いて、段階的オブジェクトアノテーションを用いて、接地性と耐性の観点から評価する、オブジェクト中心の診断フレームワークを導入する。グラフ推論マシンと呼ばれる神経的・記号的モデルを提案し、確率的シーングラフと教師強制学習を活用することで、透明性と推論精度を向上させ、ベースラインの記号的モデルを上回る性能を達成しながらも、解釈可能性を維持する。

ABSTRACT

When answering questions about an image, it not only needs knowing what -- understanding the fine-grained contents (e.g., objects, relationships) in the image, but also telling why -- reasoning over grounding visual cues to derive the answer for a question. Over the last few years, we have seen significant progress on visual question answering. Though impressive as the accuracy grows, it still lags behind to get knowing whether these models are undertaking grounding visual reasoning or just leveraging spurious correlations in the training data. Recently, a number of works have attempted to answer this question from perspectives such as grounding and robustness. However, most of them are either focusing on the language side or coarsely studying the pixel-level attention maps. In this paper, by leveraging the step-wise object grounding annotations provided in the GQA dataset, we first present a systematical object-centric diagnosis of visual reasoning on grounding and robustness, particularly on the vision side. According to the extensive comparisons across different models, we find that even models with high accuracy are not good at grounding objects precisely, nor robust to visual content perturbations. In contrast, symbolic and modular models have a relatively better grounding and robustness, though at the cost of accuracy. To reconcile these different aspects, we further develop a diagnostic model, namely Graph Reasoning Machine. Our model replaces purely symbolic visual representation with probabilistic scene graph and then applies teacher-forcing training for the visual reasoning module. The designed model improves the performance on all three metrics over the vanilla neural-symbolic model while inheriting the transparency. Further ablation studies suggest that this improvement is mainly due to more accurate image understanding and proper intermediate reasoning supervisions.

研究の動機と目的

• 視覚的推論モデルのための体系的でオブジェクト中心の評価フレームワークを構築すること。特に、接地性と耐性に焦点を当てる。
• 高い精度を示すVQAモデルが、単純な視覚的推論タスクで依然として失敗する理由を診断すること。
• 現在のモデルにおける限界、特に視覚的接地性と視覚的摂動への感受性に関する限界を特定すること。
• 推論精度を向上させつつ解釈可能性を保つ透明な神経的・記号的モデルを設計すること。
• 視覚的推論の失敗モードを分析すること。特に、シーングラフの不正確さとアノテーションの曖昧さに起因するもの。

提案手法

• GQAデータセットの段階的オブジェクト接地アノテーションを活用し、接地性と耐性のための明確な指標を定義する。
• グラフ推論マシンを提案。三モジュール構成：シーングラフ生成器、プログラム生成器、プログラム実行器。
• 厳密な記号的シーングラフの代わりに、実画像から導出される確率的シーングラフを採用することで、視覚的変動に対する耐性を向上させる。
• 視覚的推論モジュールに教師強制学習を適用し、学習の安定化と中間段階の監視を向上させる。
• 定量的指標を用いて、ニューラルモデル、モジュラー・モデル、記号的アーキテクチャを含む多様なモデル間で、接地精度と耐性を比較する。
• 画像理解と中間段階の推論監視の寄与を分離するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 高精度なVQAモデルは、実際にその推論を正しい視覚的オブジェクトに正確に接地できているのか？
• RQ2 VQAモデルは、不要な背景オブジェクトを覆うような摂動に対してどれほど耐性を示すのか？
• RQ3 神経的・記号的モデルは、正確性の犠牲を払ってでも、純粋にニューラルモデルよりも優れた接地性と耐性を達成できるのか？
• RQ4 視覚的推論モデルにおける主な失敗モードは何か？また、それらはシーングラフの品質やアノテーションの曖昧さとどのように関係しているか？
• RQ5 中間段階の推論監視を組み込むことで、視覚的推論における正確性と解釈可能性の両方が向上するのか？

主な発見

• GQAで高い精度を示すモデルでも、前景オブジェクトを覆うと予測が一貫性を欠くことから、オブジェクトの正確な接地に失敗していることが判明した。
• モデルは背景の摂動に対して耐性がなく、非ターゲットオブジェクトを覆うと答えが逆転するなど、推論の一貫性が乏しいことが判明した。
• 記号的・モジュラーなモデルは、エンドツーエンドのニューラルモデルに比べて、より優れた接地性と耐性を示したが、全体の精度は低かった。
• 提案されたグラフ推論マシンは、すべての3つの指標（正確性、接地性、耐性）において、シンプルなニューラル・シンボリックモデルを上回る性能を発揮した。解釈可能性も維持した。
• アブレーションスタディの結果、画像理解の向上と中間段階の推論監視が、グラフ推論マシンの性能向上の鍵であることが示された。
• 失敗分析から、不適切なシーングラフ生成（特に、オブジェクト検出の悪さ：mAP 4.85、関係検出の弱さ）がエラーの主な原因であることが判明。失敗の75％以上が「関係を特定する」操作に関係していた。