[論文レビュー] What Can Neural Networks Reason About?

Keyulu Xu, Jingling Li+4 more|arXiv (Cornell University)|May 30, 2019

Multimodal Machine Learning Applications参考文献 64被引用数 58

ひとこと要約

本論文は、ニューラルネットワークのアーキテクチャが推論タスクで一般化する時期を予測するためのアルゴリズム的整合フレームワークを導入し、GNNsが動的計画法と整合し、NESがNP困難な部分和問題に対処できることを示す。

ABSTRACT

Neural networks have succeeded in many reasoning tasks. Empirically, these tasks require specialized network structures, e.g., Graph Neural Networks (GNNs) perform well on many such tasks, but less structured networks fail. Theoretically, there is limited understanding of why and when a network structure generalizes better than others, although they have equal expressive power. In this paper, we develop a framework to characterize which reasoning tasks a network can learn well, by studying how well its computation structure aligns with the algorithmic structure of the relevant reasoning process. We formally define this algorithmic alignment and derive a sample complexity bound that decreases with better alignment. This framework offers an explanation for the empirical success of popular reasoning models, and suggests their limitations. As an example, we unify seemingly different reasoning tasks, such as intuitive physics, visual question answering, and shortest paths, via the lens of a powerful algorithmic paradigm, dynamic programming (DP). We show that GNNs align with DP and thus are expected to solve these tasks. On several reasoning tasks, our theory is supported by empirical results.

研究の動機と目的

• ニューラルネットワークがどの推論タスクを効率的に学習できるかという問いを動機づけ、形式化する。
• ネットワーク構造と推論タスクのアルゴリズム的構造を結びつけるために、 アルゴリズム的整合性 を導入する。
• 整合性がサンプル複雑性と一般化に影響を与えるという理論的・経験的証拠を提供する。
• 共通のフレームワークの下で、要約統計、関係的 argmax、動的計画法、NP困難な問題などの推論タスクを統合・分析する。

提案手法

• ネットワークモジュールと推論アルゴリズムとの間のアルゴリズム的整合性の数値的指標を定義する。
• より良い整合性とともにサンプル複雑性が低下することを示すPAC学習ベースの解析を開発する（定理3.6）。
• 過 parameterized MLPに対するモジュールレベルのサンプル複雑性の界を提供する（定理3.5）。
• DPが直感的物理、VQA、最短経路といったタスクをGNNsの下で自然に統一することを示す。
• DP整合アーキテクチャの限界を示すため、全探索に基づくsubset sum向けのニューラルネットワーク（NES）を設計する。

実験結果

リサーチクエスチョン

• RQ1 そのアーキテクチャに基づいて、ニューラルネットワークはどのタスクを効率的に推論できるだろうか？
• RQ2 ネットワークの計算構造と推論アルゴリズムとの整合性は、サンプル複雑性と一般化性能にどのように影響するか？
• RQ3 共通のアーキテクチャ（MLP、Deep Sets、GNNs）は推論タスクのカテゴリを学習できるか、どこで失敗するか？
• RQ4 非DP推論（例：NP困難な問題）に整合するアーキテクチャを設計して、より良い一般化を達成できるか？

主な発見

• GNNsは動的計画法と整合し、最短経路やDP風の視覚推論などDP様のタスクに対して一般化能力が高い。
• Deep Setsは permutation-invariant な要約統計タスクにおいて、より良い整合のためMLPよりも性能が高い。
• 1回の反復でのGNNsはrelational argmaxを処理できる一方、Deep Setsはループ状の計算を必要とするため苦戦する。
• GNNsはNP困難な subset sum に失敗するが、提案されたNeural Exhaustive Search（NES）アーキテクチャは一般化し、整合の限界を示している。
• タスクを跨ぐ経験的結果は、より良いアルゴリズム的整合がサンプル効率と一般化の改善と相関することを裏付ける。