[論文レビュー] LRTA: A Transparent Neural-Symbolic Reasoning Framework with Modular Supervision for Visual Question Answering

Weixin Liang, Feiyang Niu+3 more|arXiv (Cornell University)|Nov 21, 2020

Multimodal Machine Learning Applications参考文献 45被引用数 11

ひとこと要約

LRTAは、段階的に「見る」（シーングラフ生成）、「読む」（質問解析）、「考える」（再帰的実行による段階的推論）、「答える」（自然言語の根拠生成）を模倣することで、人間の推論を模倣する透明でモジュラーなニューラル・シンボリック枠組みを提案する。GQAにおける完全な答え生成タスクで43.1%の正確性を達成し、SOTAモデルを著しく上回り、言語的摂動に対して優れた耐性を示しており、表面的な相関関係ではなく、より深い理解を示している。

ABSTRACT

The predominant approach to visual question answering (VQA) relies on encoding the image and question with a "black-box" neural encoder and decoding a single token as the answer like "yes" or "no". Despite this approach's strong quantitative results, it struggles to come up with intuitive, human-readable forms of justification for the prediction process. To address this insufficiency, we reformulate VQA as a full answer generation task, which requires the model to justify its predictions in natural language. We propose LRTA [Look, Read, Think, Answer], a transparent neural-symbolic reasoning framework for visual question answering that solves the problem step-by-step like humans and provides human-readable form of justification at each step. Specifically, LRTA learns to first convert an image into a scene graph and parse a question into multiple reasoning instructions. It then executes the reasoning instructions one at a time by traversing the scene graph using a recurrent neural-symbolic execution module. Finally, it generates a full answer to the given question with natural language justifications. Our experiments on GQA dataset show that LRTA outperforms the state-of-the-art model by a large margin (43.1% v.s. 28.0%) on the full answer generation task. We also create a perturbed GQA test set by removing linguistic cues (attributes and relations) in the questions for analyzing whether a model is having a smart guess with superficial data correlations. We show that LRTA makes a step towards truly understanding the question while the state-of-the-art model tends to learn superficial correlations from the training data.

研究の動機と目的

• ブラックボックスなVQAモデルが単一トークンの答えしか出力しないという説明可能性の欠如に対処すること。
• 解釈性を向上させるために、自然言語の根拠を伴う完全な答え生成タスクにVQAを再定式化すること。
• エラーの局所化と人間が読める推論トレースを可能にする、モジュラーでエンドツーエンドで学習可能なフレームワークを開発すること。
• 言語的摂動、特に属性や関係の削除に対するモデルの耐性を評価し、真の理解と表面的な相関関係学習の違いを評価すること。
• 正確性指標を超えたモデルの推論を調べるための摂動を加えたGQAテストセットを作成すること。

提案手法

• LRTAは、入力画像をオブジェクトとその関係の構造的表現に変換するシーングラフ生成モジュールを使用する。
• 意味的解析モジュールは、各質問を「ハンバーガーを持っている人物を探す」などの複数の推論指示に分解する。
• 再帰的ニューラル・シンボリック実行エンジンは、各指示をシーングラフを段階的に走査することで処理し、推論のための隠れ状態を維持する。
• フレームワークは、シンボリック出力ではなく隠れ状態を通じて全モジュールを接続することで、生画像から完全な答えまでエンドツーエンド学習を可能にする。
• 自然言語生成モジュールは、中間の推論ステップに基づいて、詳細な根拠を含む最終的な答えを合成する。
• モデルはエンドツーエンドで学習され、言語的手がかり（属性、関係）が体系的にマスクされた摂動を加えたGQAテストセットを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 ニューラル・シンボリックVQAフレームワークは、各推論ステップで人間が読める根拠を提供しつつ、完全な答え生成タスクでより高い性能を達成できるか？
• RQ2 LRTAのモジュラーで段階的な推論プロセスは、ブラックボックスモデルと比較して、言語的摂動に対してより高い耐性を示すか？
• RQ3 LRTAは、属性や関係がマスクされた際の性能低下によって測定されるように、トレーニングデータの表面的な統計的相関にどれほど依存しているか？
• RQ4 オブジェクト検出を越えて、シーングラフの使用はVQAの性能と解釈性をどれほど向上させるか？
• RQ5 ビジュアルオラクル（真値のシーングラフ）は、LRTAフレームワークの理論的潜在能力を示すことができるか？

主な発見

• LRTAはGQAデータセットにおける完全な答え生成タスクで43.1%の正確性を達成し、SOTAのLXMERTモデルを15.1ポイント上回った。
• 属性や関係といった言語的手がかりがマスクされた場合、LRTAの性能はそれぞれ21.03%および26.20%低下したが、これは意味的コンテンツに強く依存していることを示している。
• これに対してLXMERTの性能低下は9.41%（属性）および19.43%（関係）に留まり、表面的なデータ相関をより強く利用していることが示唆された。
• ビジュアルオラクル（真値のシーングラフ）を用いると、LRTAは短い答えで93.1%、完全な答えで85.99%の正確性を達成し、理論的上限の96%に近づいた。
• 摂動を加えたGQAテストセットはモデルの挙動を効果的に露呈し、LRTAの推論がLXMERTのパターンベースの推測よりもより耐性があり、真の理解に一致していることが示された。