[論文レビュー] Learning by Abstraction: The Neural State Machine

Drew A. Hudson, Christopher D. Manning|arXiv (Cornell University)|Jul 9, 2019

Multimodal Machine Learning Applications参考文献 83被引用数 17

ひとこと要約

本稿では、視覚的シーンを確率的シーングラフとしてモデル化し、自然言語の質問に従って注意に基づく状態遷移を用いて逐次的推論を実行する微分可能グラフネットワーク、Neural State Machine (NSM) を提案する。GQA および VQA-CP において最先端の性能を達成し、構造的で抽象的な意味的空間で動作することにより、新しい概念や言語構造への強力な一般化能力を示した。

ABSTRACT

We introduce the Neural State Machine, seeking to bridge the gap between the neural and symbolic views of AI and integrate their complementary strengths for the task of visual reasoning. Given an image, we first predict a probabilistic graph that represents its underlying semantics and serves as a structured world model. Then, we perform sequential reasoning over the graph, iteratively traversing its nodes to answer a given question or draw a new inference. In contrast to most neural architectures that are designed to closely interact with the raw sensory data, our model operates instead in an abstract latent space, by transforming both the visual and linguistic modalities into semantic concept-based representations, thereby achieving enhanced transparency and modularity. We evaluate our model on VQA-CP and GQA, two recent VQA datasets that involve compositionality, multi-step inference and diverse reasoning skills, achieving state-of-the-art results in both cases. We provide further experiments that illustrate the model's strong generalization capacity across multiple dimensions, including novel compositions of concepts, changes in the answer distribution, and unseen linguistic structures, demonstrating the qualities and efficacy of our approach.

研究の動機と目的

• 視覚的推論における神経的・記号的AIの長所を統合することで、両者のギャップを埋めること。
• 深層学習モデルの体系的一般化、解釈可能性、モularity における限界を克服すること。
• 構造的で抽象的な表現を用いて、視覚的シーンに対する堅牢な推論を可能にすること。
• 視覚質問応答における、新しい概念、未観測の言語構造、シフトした回答分布の一般化を評価すること。

提案手法

• モデルはまず、オブジェクトの属性をノードとし、空間的および意味的関係をエッジとする確率的シーングラフを画像から構築する。
• 次に、シーングラフを状態機械として扱い、ノードを状態、エッジを遷移とすることで、グラフ上の逐次的推論を可能にする。
• 自然言語の質問は、グラフノードを反復的に注意に基づいて走査するのをガイドするソフトな命令に埋め込まれる。
• 視覚的および言語的モダリティを統合するための共通の抽象空間に、コンセプト（オブジェクト、属性、関係）の共有語彙を用いる。
• 推論は、グラフ上の微分可能なメッセージパッシングにより実行され、注意機構が各ステップで関連するノードおよびエッジを選択する。
• アーキテクチャは、構造とコンテンツの表現を分離したまま、エンドツーエンドで訓練され、答えを予測する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルモデルは、学習時に見られなかった視覚的コンセプトの新しい組み合わせに対しても、強力な一般化を達成できるか？
• RQ2 訓練データの分布がシフトしている状況でも、未観測の言語構造を持つ質問に対して一般化できるか？
• RQ3 生の感覚入力を直接処理するのと比較して、抽象的で構造的な潜在空間で動作させることで、解釈可能性とモularity が向上するか？
• RQ4 シーングラフ上でグラフベースの、オートマトンのような計算を実行するモデルは、エンドツーエンドのニューラルネットワークを上回る性能を示せるか？

主な発見

• Neural State Machine は、GQA のコンテンツ一般化スプリットで40.24%、構造一般化スプリットで55.72% の最先端の精度を達成し、先行手法を顕著に上回った。
• VQA-CPv2 では45.80% の精度を達成し、BAN (39.31%) や ReGAT (40.42%) を含む、すべての先行単一モデル手法を上回った。
• 訓練時の質問に含まれなかった未観測のオブジェクトカテゴリ（例：食品、動物）に対しても、ゼロショット一般化が強く示され、コンテンツスプリットで40.24% の精度を達成した。
• 新しい言語構造に対しても効果的に一般化し、構造一般化スプリットで55.72% の精度を達成し、構文的および意味的変化に対する耐性を示した。
• 回答の分布がシフトしてもモデルの性能は高く維持され、テストデータにおける分布シフトに対して耐性があることを示した。
• アブレーションスタディにより、構造的で抽象的な表現と逐次的推論メカニズムが、モデルの一般化能力の鍵であることが確認された。