[논문 리뷰] Relational inductive biases, deep learning, and graph networks

Peter Battaglia, Jessica B. Hamrick외 1명|arXiv (Cornell University)|2018. 06. 04.

Advanced Graph Neural Networks참고 문헌 176인용 수 2,391

한 줄 요약

이 논문은 조합적 일반화—즉, 알려진 요소들을 조합하여 학습 데이터를 초월해 일반화하는 능력—를 가능하게 하기 위해 강력한 관계적 인덕티브 편향을 지닌 그래프 네트워크(GNs)를 새로운 딥러닝 프레임워크로 제안한다. GNs는 그래프 상에서 학습 가능한 메시지 전달 메커니즘을 통해 구조화된 지식을 처리함으로써 기존 그래프 신경망을 일반화하고 확장하며, 추론 작업에서 더 높은 샘플 효율성과 해석 가능성 향상을 달성한다.

ABSTRACT

Artificial intelligence (AI) has undergone a renaissance recently, making major progress in key domains such as vision, language, control, and decision-making. This has been due, in part, to cheap data and cheap compute resources, which have fit the natural strengths of deep learning. However, many defining characteristics of human intelligence, which developed under much different pressures, remain out of reach for current approaches. In particular, generalizing beyond one's experiences--a hallmark of human intelligence from infancy--remains a formidable challenge for modern AI. The following is part position paper, part review, and part unification. We argue that combinatorial generalization must be a top priority for AI to achieve human-like abilities, and that structured representations and computations are key to realizing this objective. Just as biology uses nature and nurture cooperatively, we reject the false choice between "hand-engineering" and "end-to-end" learning, and instead advocate for an approach which benefits from their complementary strengths. We explore how using relational inductive biases within deep learning architectures can facilitate learning about entities, relations, and rules for composing them. We present a new building block for the AI toolkit with a strong relational inductive bias--the graph network--which generalizes and extends various approaches for neural networks that operate on graphs, and provides a straightforward interface for manipulating structured knowledge and producing structured behaviors. We discuss how graph networks can support relational reasoning and combinatorial generalization, laying the foundation for more sophisticated, interpretable, and flexible patterns of reasoning. As a companion to this paper, we have released an open-source software library for building graph networks, with demonstrations of how to use them in practice.

연구 동기 및 목표

• 현대 딥러닝의 한계—즉, 기존에 알려진 요소들을 조합하여 학습 데이터를 초월해 일반화하는 능력 부족—를 해결하기 위해.
• 엔드 투 엔드 학습과 수작업으로 설계된 기호적 시스템 간의 상충 관계를 극복하기 위해 그들의 상호보완적 강점을 통합하기 위해.
• 엔티티, 관계, 그리고 그들의 조합을 위한 구조화된 표현과 관계 추론을 지원하는 통합적이고 학습 가능한 프레임워크를 제안하기 위해.
• 딥러닝 아키텍처에 관계적 인덕티브 편향을 통합하여 더 해석 가능하고 유연하며 샘플 효율적인 AI 시스템을 가능하게 하기 위해.

제안 방법

• 노드, 엣지, 글로벌 컨텍스트를 가진 그래프에서 작동하는 가분성 있고 엔드 투 엔드로 학습 가능한 프레임워크인 그래프 네트워크(GNs)를 도입한다.
• GNs를 메시지 전달 메커니즘을 통해 정의한다: 엣지, 노드, 글로벌 특징에서 메시지를 계산하고, 각 노드별로 집계한 후 노드 및 글로벌 표현을 업데이트하는 데 사용한다.
• 메시지 계산, 노드 및 글로벌 표현 업데이트를 위한 학습 가능한 함수(예: 다층 퍼셉트론)를 사용하여 가분성 학습을 지원한다.
• 기존 그래프 신경망을 일반화하여 임의의 입력 및 출력 그래프 구조를 허용하고, 다양한 유형의 관계적 인덕티브 편향을 지원한다.
• 정적 및 동적 그래프 구조를 모두 지원하여 추론 중 엣지 생성/삭제와 같은 적응성을 가능하게 한다.
• 실제 구현을 위한 오픈소스 라이브러리를 제공하며, 추론 및 제어 작업에서 GNs의 사례를 시연한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 조합적 일반화 능력을 향상시키기 위해 강력한 관계적 인덕티브 편향을 어떻게 갖출 수 있는가?
• RQ2 엔티티, 관계, 그리고 조합을 중심으로 한 구조화된 추론을 지원하는 통합적이고 학습 가능한 프레임워크를 설계할 수 있는가?
• RQ3 관계 추론과 샘플 효율성이 요구되는 작업에서 기존 딥러닝 모델에 비해 그래프 네트워크가 가지는 이점은 무엇인가?
• RQ4 그래프 네트워크를 어떻게 동적 환경에 적응시켜 계산 도중 그래프 구조가 변화하는 상황에서도 유연하게 작동하게 할 수 있는가?
• RQ5 그래프 네트워크가 복잡한 추론 작업에서 해석 가능성과 전이 학습 능력을 얼마나 향상시킬 수 있는가?

주요 결과

• 표준 딥러닝 모델에 비해 그래프 네트워크는 특히 조합적 일반화가 요구되는 작업에서 높은 샘플 효율성을 확보한다.
• GNs는 물리적 동역학 예측과 같은 추론 작업에서, 훈련 중에 볼 수 없었던 물체 구성이나 상호작용에 대해 일반화하는 데 뛰어난 성능을 보인다.
• 엔티티와 관계를 명시적으로 모델링함으로써 해석 가능한 추론을 지원하여 내부 표현의 시각화 및 분석이 가능하다.
• GNs는 훈련 분포를 초월해 잘 일반화되며, 예를 들어 훈련 중에 볼 수 없었던 물체의 수나 새로운 조합 구조에 대해서도 잘 작동한다.
• GNs의 오픈소스 구현은 다양한 도메인—비전, 언어, 제어 등—에서 실용적 구현과 확장이 가능하게 하며, 이를 통해 널리 활용되고 있다.
• 관계 추론이 요구되는 작업—예를 들어 전이 추론과 유사 추론—에서 GNs는 그들의 구조화된 인덕티브 편향 덕분에 표준 모델을 능가한다.