[논문 리뷰] Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges

Michael M. Bronstein, Joan Bruna외 2명|arXiv (Cornell University)|2021. 04. 27.

Graph Theory and Algorithms참고 문헌 255인용 수 551

한 줄 요약

그래프, 격자, 그룹, 매니폴드, 번들 등 다양한 도메인에서 대칭, 표현, 불변성을 통해 신경망을 프레이밍함으로써 기하학적 딥러닝을 통합하는 설문조사.

ABSTRACT

The last decade has witnessed an experimental revolution in data science and machine learning, epitomised by deep learning methods. Indeed, many high-dimensional learning tasks previously thought to be beyond reach -- such as computer vision, playing Go, or protein folding -- are in fact feasible with appropriate computational scale. Remarkably, the essence of deep learning is built from two simple algorithmic principles: first, the notion of representation or feature learning, whereby adapted, often hierarchical, features capture the appropriate notion of regularity for each task, and second, learning by local gradient-descent type methods, typically implemented as backpropagation. While learning generic functions in high dimensions is a cursed estimation problem, most tasks of interest are not generic, and come with essential pre-defined regularities arising from the underlying low-dimensionality and structure of the physical world. This text is concerned with exposing these regularities through unified geometric principles that can be applied throughout a wide spectrum of applications. Such a 'geometric unification' endeavour, in the spirit of Felix Klein's Erlangen Program, serves a dual purpose: on one hand, it provides a common mathematical framework to study the most successful neural network architectures, such as CNNs, RNNs, GNNs, and Transformers. On the other hand, it gives a constructive procedure to incorporate prior physical knowledge into neural architectures and provide principled way to build future architectures yet to be invented.

연구 동기 및 목표

• 심층 학습에 대해 대칭성과 불변성을 활용하여 기하학적 관점을 동기 부여하고 formalize(형식화)한다.
• 고차원 데이터의 차원의 저주를 극복하기 위한 inductive biases로 geometric priors를 도입한다.
• 다양한 기하학적 도메인(그래프, 격자, 그룹, 매니폴드, 번들)에 걸친 아키텍처에 대한 통합 청사진을 제공한다.
• 표현, 자동동형사상(automorphisms), 변형이 모델 설계 및 학습에 얼마나 영향을 주는지 설명한다.
• 향후 기하학적 모델을 위한 대칭의 첫 원리에서 아키텍처를 도출하는 실무자를 안내한다.

제안 방법

• 그룹 작용과 표현에 기반한 기하학적 딥러닝을 위한 Erlangen-Program 영감을 받은 정식 프레임워크를 제시한다.
• 대칭 그룹에 대한 함수의 불변성(invariance)과 등가성(equivariance)을 특징짓는다.
• 아키텍처를 형성하는 기하학적 priors로서의 스케일 분리(scale separation)와 변형 안정성(deformation stability)을 논의한다.
• 그래프, 격자, 그룹, 매니폴드 등 기하학적 도메인과 대응하는 신경망 아키텍처를 조사한다.
• 컨벌루션, 풀링, 등가적 메시지 전달과 같은 모델 구성 요소를 기하학적 맥락에서 통일된 방식으로 기술한다.
• gauge/bundle 이론의 개념이 아키텍처 설계에 어떤 정보를 주는지 설명한다.

실험 결과

연구 질문

• RQ1 대칭, 군 표현, 불변성의 원리가 다양한 기하학적 도메인에서 신경망의 설계를 어떻게 통합하고 안내할 수 있는가?
• RQ2 스케일 분리, 변형 안정성 등 어떤 기하학적 priors가 고차원 구조적 데이터에서의 학습을 개선하는가?
• RQ3 CNN, GNN, 트랜스포머와 같은 아키텍처를 어떻게 기하학과 대칭의 첫 원리에서 도출할 수 있는가?
• RQ4 매니폴드, 곡선 거리(geodesics), 게이지, 번들이 기하학적 딥러닝 모델 설계에 어떤 역할을 하는가?
• RQ5 격자, 그래프, 그룹, 매니폴드 간 priors를 체계적으로 전달하여 원칙에 입각한 모델을 구축하는 방법은 무엇인가?

주요 결과

• 대칭과 표현 이론을 통해 CNN, GNN, 트랜스포머 및 관련 모델을 연결하는 통합 프레임워크를 제공한다.
• 데이터 도메인에서의 그룹 작용에 대한 함수의 불변성 및 등가성 특성을 명확히 한다.
• 구조적 도메인에서 학습에 있어 스케일 분리와 변형 안정성과 같은 기하학적 priors의 중요성을 강조한다.
• 다양한 기하학적 도메인(그래프, 격자, 그룹, 매니폴드)이 1원리(principles)로부터 구성된 대응 신경망 아키텍처를 수용한다는 것을 설명한다.
• 게이지 및 번들 개념이 매니폴드 및 더 복잡한 도메인에서 네트워크 설계에 어떤 정보를 제공하는지 설명한다.