[論文レビュー] Neural Production Systems

Anirudh Goyal, Aniket Didolkar+6 more|arXiv (Cornell University)|Mar 2, 2021

Advanced Graph Neural Networks参考文献 72被引用数 21

ひとこと要約

この論文では、変数の置換を通じてルールテンプレートをエンティティにバインドすることで、視覚的環境をモデル化する神経記号的アーキテクチャであるNeural Production Systemsを提案する。これにより、エンティティに依存する動的で柔軟な推論が可能となり、将来の状態予測においてGNNベースの手法を上回り、単純な視覚的環境から複雑な環境への一般化が可能になる。

ABSTRACT

Visual environments are structured, consisting of distinct objects or entities. These entities have properties -- both visible and latent -- that determine the manner in which they interact with one another. To partition images into entities, deep-learning researchers have proposed structural inductive biases such as slot-based architectures. To model interactions among entities, equivariant graph neural nets (GNNs) are used, but these are not particularly well suited to the task for two reasons. First, GNNs do not predispose interactions to be sparse, as relationships among independent entities are likely to be. Second, GNNs do not factorize knowledge about interactions in an entity-conditional manner. As an alternative, we take inspiration from cognitive science and resurrect a classic approach, production systems, which consist of a set of rule templates that are applied by binding placeholder variables in the rules to specific entities. Rules are scored on their match to entities, and the best fitting rules are applied to update entity properties. In a series of experiments, we demonstrate that this architecture achieves a flexible, dynamic flow of control and serves to factorize entity-specific and rule-based information. This disentangling of knowledge achieves robust future-state prediction in rich visual environments, outperforming state-of-the-art methods using GNNs, and allows for the extrapolation from simple (few object) environments to more complex environments.

研究の動機と目的

• 視覚的エンティティ間の疎で構造的な相互作用をモデル化する際のグラフニューラルネットワーク（GNN）の限界を克服すること。
• 特定のエンティティおよびその性質に依存する動的でルールベースの推論を可能にすること。
• エンティティ固有の知識とルールベースの相互作用知識を分離することで、一般化性能を向上させること。
• 構造的かつ解釈可能な推論を通じて、複雑な視覚的環境における将来状態予測を堅牢に実現すること。
• 標準的なGNNが困難である、少数のオブジェクトからより複雑な環境への外挿を可能にすること。

提案手法

• モデルは、推論中にシーン内の特定のエンティティにバインドするためのプレースホルダ変数を含むルールテンプレートを使用する。
• ルールはエンティティの性質との一致度に基づいてスコア付けされ、最もスコアの高いルールが適用されてエンティティの状態が更新される。
• 微分可能スコアリング機構を用いることで、微分可能でエンド・トゥ・エンドで学習可能な方法でルールの選択と適用が行われる。
• 最も関連性の高いルールの適用に基づき、エンティティ表現が更新され、動的かつ状態の進化が可能になる。
• 認知科学からの構造的インダクティブバイアスを統合し、固定されたグラフ接続ではなく、条件付きルール適用として相互作用をモデル化する。
• 知識をエンティティ固有の特徴とルールベースの相互作用論理に分解することで、分離性と解釈可能性を促進する。

実験結果

リサーチクエスチョン

• RQ1 エンティティのバインディングを伴うルールベースの推論は、GNNと比較して視覚的環境における将来状態予測を改善できるか？
• RQ2 このシステムは、単純（少数のオブジェクト）な環境からより複雑な環境へ一般化できるか？
• RQ3 モデルはエンティティ固有の知識とルールベースの相互作用知識を効果的に分離できるか？
• RQ4 生産システムにおける動的で制御フローの柔軟性は、GNNの固定されたメッセージパッシングと比較してどのように異なるか？
• RQ5 このアーキテクチャは、学習分布を超えた外挿をどの程度サポートできるか？

主な発見

• Neural Production Systemsは、豊かな視覚的環境において、最先端のGNNベースの手法を上回る将来状態予測性能を達成する。
• モデルは、少数のオブジェクトで構成される訓練環境から、より複雑で未観測の構成へと効果的に一般化する。
• エンティティ固有の知識とルールベースの相互作用知識の分離により、分布シフト下でも頑健な推論が可能になる。
• エンティティマッチに基づく選択的ルール適用を通じて、柔軟で動的な制御フローを示す。
• 訓練時よりも多くのオブジェクトを含む環境への外挿をサポートする。これはGNNに比べて顕著な利点である。
• 変数バインディングを伴うルールテンプレートの使用により、視覚的シーンにおける解釈可能で構造的な推論が可能になる。