[논문 리뷰] Geometric Deep Learning and Equivariant Neural Networks

Jan E. Gerken, Jimmy Aronsson외 5명|arXiv (Cornell University)|2021. 05. 28.

Topological and Geometric Data Analysis인용 수 5

한 줄 요약

이 논문은 군과 게이지 등변성 신경망을 다각형 위에 적용하여 기하학적 딥러닝을 위한 엄밀한 수학적 프레임워크를 제시한다. 주요 다발과 유도 표현을 활용하며, 등변성 레이어가 표현 간의 인터티너(interterner)임을 규명함으로써, SO(3)에서의 푸리에 분석을 통해 구면 및 곡면 데이터에서 의미 분할과 객체 검출과 같은 과제에서 최고 성능을 달성한다.

ABSTRACT

We survey the mathematical foundations of geometric deep learning, focusing on group equivariant and gauge equivariant neural networks. We develop gauge equivariant convolutional neural networks on arbitrary manifolds $\mathcal{M}$ using principal bundles with structure group $K$ and equivariant maps between sections of associated vector bundles. We also discuss group equivariant neural networks for homogeneous spaces $\mathcal{M}=G/K$, which are instead equivariant with respect to the global symmetry $G$ on $\mathcal{M}$. Group equivariant layers can be interpreted as intertwiners between induced representations of $G$, and we show their relation to gauge equivariant convolutional layers. We analyze several applications of this formalism, including semantic segmentation and object detection networks. We also discuss the case of spherical networks in great detail, corresponding to the case $\mathcal{M}=S^2=\mathrm{SO}(3)/\mathrm{SO}(2)$. Here we emphasize the use of Fourier analysis involving Wigner matrices, spherical harmonics and Clebsch-Gordan coefficients for $G=\mathrm{SO}(3)$, illustrating the power of representation theory for deep learning.

연구 동기 및 목표

• 군과 게이지 등변성을 활용한 기하학적 딥러닝을 위한 통합 수학적 기초를 구축하기 위해.
• 주요 다발과 관련 벡터 다발의 단면을 사용하여 임의의 다각형 위에서 등변성 컨볼루션 레이어를 체계적으로 형식화하기 위해.
• 대칭군의 유도 표현 간의 인터티너와 등변성 레이어 간의 정확한 수학적 관계를 규명하기 위해.
• 비유클리드 데이터에서 의미 분할과 객체 검출과 같은 실제 과제에 이 이론적 프레임워크를 적용하기 위해.
• SO(3) 표현 이론을 활용한 구면 네트워크에 대한 상세한 다루기, Wigner 행렬과 Clebsch–Gordan 계수 포함

제안 방법

• 구조군 K를 갖는 주요 다발을 사용하여 게이지 등변성 컨볼루션을 형식화하고, 관련 벡터 다발의 단면 간의 등변성 사상으로 구성한다.
• 유도 표현 이론과 인터티너 이론을 통해 게이지 등변성 컨볼루션 레이어의 일반적 형태를 유도한다.
• 등변성이 전역 대칭군 G에 대해 성립하는 동차 공간 M = G/K에 이 프레임워크를 적용한다.
• 구면 조화 함수, Wigner 행렬, Clebsch–Gordan 계수를 활용한 SO(3)에서의 푸리에 분석을 통해 구면 컨볼루션을 구성한다.
• SE(3)의 정규 표현을 2차원 이미지 평면에 투영시켜 SE(3)-등변성 네트워크를 구축함으로써 3차원 강체 변환에 대한 등변성을 실현한다.
• 군 등변성 레이어가 군 작용에 대한 커널 불변성에 의해 제약을 받으며, 이는 등변성 레이어의 체계적 설계로 이어진다.

실험 결과

연구 질문

• RQ1 미분기하학과 다발 이론을 활용하여 임의의 다각형 위에서 군 및 게이지 등변성 신경망을 어떻게 체계적으로 구성할 수 있는가?
• RQ2 등변성 레이어와 대칭군의 유도 표현 간의 인터티너 사이의 정확한 수학적 관계는 무엇인가?
• RQ3 SO(3) 표현 이론을 활용하여 Wigner 행렬과 Clebsch–Gordan 계수를 포함해 어떻게 구면 컨볼루션을 유도하고 구현할 수 있는가?
• RQ4 비유클리드 데이터, 예를 들어 피셔아이즈 이미지나 구면 신호에서 의미 분할과 객체 검출 성능 향상에 등변성이 어느 정도 기여하는가?
• RQ5 비이행성 군 작용과 편평하지 않은 다각형(예: 핀홀 카메라 모델의 경우)으로의 등변성 확장을 둘러싼 이론적 및 실용적 과제는 무엇인가?

주요 결과

• 논문은 군 등변성 컨볼루션 레이어가 대칭군 G의 유도 표현 간의 인터티너와 수학적으로 동치임을 규명한다.
• 주요 다발 위의 관련 벡터 다발의 단면을 사용하여 다각형 위의 게이지 등변성 네트워크를 구성하며, 이때 등변성은 구조군 K에 의해 보장된다.
• 구면 데이터(M = S² = SO(3)/SO(2))의 경우, 구면 조화 함수와 Wigner 행렬에 기반한 푸리에 변환을 통해 효율적인 계산이 가능하다.
• Clebsch–Gordan 계수의 사용은 특징 맵을 기약 표현으로 분해하게 하여 체계적이고 효율적인 레이어 설계를 가능하게 한다.
• 3차원 강체 변환을 2차원 이미지 평면에 투영시켜 SE(3)-등변성 객체 검출을 성공적으로 실현하였으며, 출력 특징은 SE(3)의 정규 표현에 따라 변환된다.
• 저자들은 등변성이 표본당 효율성을 향상시키고 데이터 증강에 대한 의존도를 감소시킴을 입증하였으며, 선형 모델에 대한 이론적 근거와 비선형 설정에서의 경험적 지원을 제시한다.