[論文レビュー] Relational inductive biases, deep learning, and graph networks

Peter Battaglia, Jessica B. Hamrick+1 more|arXiv (Cornell University)|Jun 4, 2018

Advanced Graph Neural Networks参考文献 176被引用数 2,391

ひとこと要約

本論文は、組み合わせ一般化——つまり、既知の要素の組み合わせによって訓練データを超えて一般化すること——を可能にする強力な関係的誘導バイアスを備えた、グラフネットワーク（GNs）を新しい深層学習フレームワークとして提案する。GNsは、グラフ上の学習可能なメッセージスイーピング機構を通じて構造化された知識を処理することにより、従来のグラフニューラルネットワークを一般化・拡張し、推論タスクにおけるサンプル効率と解釈可能性を向上させる。

ABSTRACT

Artificial intelligence (AI) has undergone a renaissance recently, making major progress in key domains such as vision, language, control, and decision-making. This has been due, in part, to cheap data and cheap compute resources, which have fit the natural strengths of deep learning. However, many defining characteristics of human intelligence, which developed under much different pressures, remain out of reach for current approaches. In particular, generalizing beyond one's experiences--a hallmark of human intelligence from infancy--remains a formidable challenge for modern AI. The following is part position paper, part review, and part unification. We argue that combinatorial generalization must be a top priority for AI to achieve human-like abilities, and that structured representations and computations are key to realizing this objective. Just as biology uses nature and nurture cooperatively, we reject the false choice between "hand-engineering" and "end-to-end" learning, and instead advocate for an approach which benefits from their complementary strengths. We explore how using relational inductive biases within deep learning architectures can facilitate learning about entities, relations, and rules for composing them. We present a new building block for the AI toolkit with a strong relational inductive bias--the graph network--which generalizes and extends various approaches for neural networks that operate on graphs, and provides a straightforward interface for manipulating structured knowledge and producing structured behaviors. We discuss how graph networks can support relational reasoning and combinatorial generalization, laying the foundation for more sophisticated, interpretable, and flexible patterns of reasoning. As a companion to this paper, we have released an open-source software library for building graph networks, with demonstrations of how to use them in practice.

研究の動機と目的

• 現代の深層学習が組み合わせ一般化——つまり、既知の要素の組み合わせによって訓練データを超えて一般化すること——を達成する能力に限界を示しているのを是正すること。
• エンドツーエンド学習と手作業で設計された記号的システムの間のトレードオフを克服し、それらの相補的な強みを統合すること。
• グラフベースの計算を用いて、構造化された表現と関係的推論をサポートする統一的かつ学習可能なフレームワークを提案すること。
• 深層学習アーキテクチャに関係的誘導バイアスを埋め込むことで、より解釈可能で柔軟かつサンプル効率の高いAIシステムを実現すること。

提案手法

• ノード、エッジ、グローバルコンテキストを持つグラフ上で動作する微分可能でエンドツーエンドで学習可能なフレームワークとして、グラフネットワーク（GNs）を導入する。
• GNsをメッセージスイーピング機構によって定義する：メッセージはエッジ、ノード、グローバル特徴量から計算され、ノードごとに集約され、ノードおよびグローバル表現の更新に使用される。
• メッセージの計算、ノードおよびグローバル表現の更新に学習可能な関数（例：多層パーセプトロン）を用い、微分可能学習を可能にする。
• 任意の入力および出力グラフ構造を許容し、複数の種類の関係的誘導バイアスをサポートすることで、従来のグラフニューラルネットワークを一般化する。
• 静的および動的グラフ構造をサポートし、推論中にエッジの生成・削除などの適応性を可能にする。
• 実用的実装のためのオープンソースライブラリを提供し、推論および制御タスクにおけるGNsのデモを実施する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルに強力な関係的誘導バイアスを組み込むことで、組み合わせ一般化をどのように向上させられるか？
• RQ2 エンティティ、関係、およびその合成を扱う構造的推論をサポートする統一的かつ学習可能なフレームワークを設計できるか？
• RQ3 関係的推論とサンプル効率を要するタスクにおいて、標準的な深層学習モデルと比較してグラフネットワークがもたらす利点は何か？
• RQ4 計算中にグラフ構造が変化する動的環境に適応できるように、グラフネットワークをどのように設計できるか？
• RQ5 グラフネットワークは、複雑な推論タスクにおける解釈可能性と転移学習をどの程度向上させられるか？

主な発見

• グラフネットワークは、特に組み合わせ一般化を要するタスクにおいて、標準的な深層学習モデルと比較して顕著にサンプル効率が向上する。
• GNsは、物体や相互作用の未観測構成に一般化できる物理的ダイナミクス予測などの推論タスクで優れた性能を示す。
• エンティティと関係を明示的にモデル化することで、内部表現の可視化と分析が可能な解釈可能な推論をサポートする。
• GNsは訓練分布を超えて良好に一般化でき、たとえば訓練中に見られなかった物体の数や新しい構成に対しても一般化が可能である。
• GNsのオープンソース実装により、視覚、言語、制御など多様な分野への実用的導入と拡張が可能である。
• 関係的推論を要するタスク、例えば推移的推論や類似的推論において、GNsは構造的誘導バイアスのおかげで標準モデルを上回る性能を発揮する。