[논문 리뷰] What Can Neural Networks Reason About?

Keyulu Xu, Jingling Li외 4명|arXiv (Cornell University)|2019. 05. 30.

Multimodal Machine Learning Applications참고 문헌 64인용 수 58

한 줄 요약

논문은 알고리즘적 정렬 프레임워크를 도입하여 신경망 아키텍처가 추론 과제에서 일반화하는 시점을 예측하고, 그래프 신경망(GNN)이 동적 프로그래밍과 일치하며 NES가 NP-hard 부분합을 다룰 수 있음을 보인다.

ABSTRACT

Neural networks have succeeded in many reasoning tasks. Empirically, these tasks require specialized network structures, e.g., Graph Neural Networks (GNNs) perform well on many such tasks, but less structured networks fail. Theoretically, there is limited understanding of why and when a network structure generalizes better than others, although they have equal expressive power. In this paper, we develop a framework to characterize which reasoning tasks a network can learn well, by studying how well its computation structure aligns with the algorithmic structure of the relevant reasoning process. We formally define this algorithmic alignment and derive a sample complexity bound that decreases with better alignment. This framework offers an explanation for the empirical success of popular reasoning models, and suggests their limitations. As an example, we unify seemingly different reasoning tasks, such as intuitive physics, visual question answering, and shortest paths, via the lens of a powerful algorithmic paradigm, dynamic programming (DP). We show that GNNs align with DP and thus are expected to solve these tasks. On several reasoning tasks, our theory is supported by empirical results.

연구 동기 및 목표

• 신경망이 효율적으로 학습할 수 있는 추론 과제가 무엇인지 동기부여하고 형식화한다.
• 네트워크 구조와 추론 과제의 알고리즘적 구조를 연결하기 위해 알고리즘적 정렬을 도입한다.
• 정렬이 샘플 복잡도와 일반화에 영향을 준다는 이론적 및 경험적 근거를 제시한다.
• 요약 통계, 관계적 argmax, 동적 프로그래밍, NP-hard 문제 등 추론 과제를 공통 프레임워크 하에 통합하고 분석한다.

제안 방법

• 네트워크 모듈과 추론 알고리즘 간의 알고리즘적 정렬의 수치적 척도를 정의한다.
• 더 나은 정렬일수록 샘플 복잡도가 감소함을 보이는 PAC-학습 기반 분석을 개발한다(정리 3.6).
• 과매개변수화된 MLP에 대한 모듈 수준 샘플 복잡도 경계(bounds)를 제공한다(정리 3.5).
• DP가 직관적 물리, VQA, 최단 경로 등의 작업을 GNN 아래에서 자연스럽게 통합한다는 것을 보인다.
• DP-정렬 아키텍처의 한계를 보여주기 위해 전체 탐색에 기반한 부분합용 신경망(NES)을 설계한다.

실험 결과

연구 질문

• RQ1 주어진 아키텍처 하에서 신경망이 효율적으로 추론할 수 있는 과제는 무엇인가?
• RQ2 네트워크의 계산 구조와 추론 알고리즘 간의 정렬이 샘플 복잡도와 일반화에 어떤 영향을 미치는가?
• RQ3 일반적인 아키텍처들(MLP, Deep Sets, GNNs)이 추론 과제의 범주를 학습할 수 있으며, 어디에서 실패하는가?
• RQ4 비-DP 추론(예: NP-hard 문제)에 정렬된 아키텍처를 설계하여 더 나은 일반화를 달성할 수 있는가?

주요 결과

• GNN은 동적 프로그래밍과 정렬되며 최단 경로 및 DP 스타일의 시각적 추론과 같은 DP 유사 과제에 잘 일반화한다.
• Deep Sets가 순열 불변 요약 통계 과제에서 더 나은 정렬으로 MLP보다 성능이 우수하다.
• 한 번의 순환으로 구성된 GNN은 관계적 argmax를 처리할 수 있는 반면, Deep Sets는 루프와 같은 연산 필요성으로 어려움을 겪는다.
• GNN은 NP-hard 부분합에서 실패하지만 제안된 Neural Exhaustive Search(NES) 아키텍처는 일반화되어 정렬의 한계를 보여준다.
• 다양한 과제에 대한 경험적 결과는 더 나은 알고리즘적 정렬이 샘플 효율성 및 일반화의 개선과 상관관계가 있음을 확인한다.