[논문 리뷰] Theoretical Aspects of Group Equivariant Neural Networks

Carlos Esteves|arXiv (Cornell University)|2020. 04. 10.

Medical Imaging and Analysis참고 문헌 31인용 수 25

한 줄 요약

이 논문은 군 준동형 신경망(G-CNNs)에 대한 체계적인 이론적 기반을 제공하며, 컴act 군 하에서 군 준동형성이 군의 구조와 동치임을 규명한다. 군 표현 이론, 조화 해석학, 미분기하학의 개념을 통합하여 SO(3) 및 SE(3) 준동형 네트워크를 정식화하며, 준동형성이 군 컨볼루션 아키텍처를 암시함을 증명한다. 이는 구형 및 3차원 부피 입력과 같은 회전 대칭 데이터에 대해 매개변수 효율적인 학습을 가능하게 한다.

ABSTRACT

Group equivariant neural networks have been explored in the past few years and are interesting from theoretical and practical standpoints. They leverage concepts from group representation theory, non-commutative harmonic analysis and differential geometry that do not often appear in machine learning. In practice, they have been shown to reduce sample and model complexity, notably in challenging tasks where input transformations such as arbitrary rotations are present. We begin this work with an exposition of group representation theory and the machinery necessary to define and evaluate integrals and convolutions on groups. Then, we show applications to recent SO(3) and SE(3) equivariant networks, namely the Spherical CNNs, Clebsch-Gordan Networks, and 3D Steerable CNNs. We proceed to discuss two recent theoretical results. The first, by Kondor and Trivedi (ICML'18), shows that a neural network is group equivariant if and only if it has a convolutional structure. The second, by Cohen et al. (NeurIPS'19), generalizes the first to a larger class of networks, with feature maps as fields on homogeneous spaces.

연구 동기 및 목표

• 표현 이론과 조화 해석학의 도구를 사용하여 군 준동형 신경망에 대한 엄밀한 이론적 프레임워크를 수립하기.
• 컴 pact 군과 동차 공간에서의 통합 및 컨볼루션을 위한 수학적 기반을 정식화하기.
• 최근의 G-CNNs(예: 구형 CNNs, 3D 스텐릴러 CNNs)가 이 이론에 기반함을 보여주기.
• 신경망에서 준동형성과 컨볼루션 구조 간의 이전 결과들을 통합 및 일반화하기.
• 구형 및 3차원 부피와 같은 비유클리드 공간에서 준동형 모델 설계를 위한 일관된 이론적 기초 제공하기.

제안 방법

• SO(3), SU(2), SL(2,C)와 같은 컴 pact 리 군의 기저 표현을 정의하기 위해 군 표현 이론을 사용한다.
• 컴 pact 군에서의 통합을 가능하게 하기 위해 하어 측도(Haar measure)를 적용하여 불변 통합 및 컨볼루션 연산을 구현한다.
• 피터-웨일 정리(Peter-Weyl theorem)를 활용해 L²(G) 함수를 기저 표현으로 분해함으로써 군에서의 푸리에 분석을 가능하게 한다.
• 컴 pact 군에서의 컨볼루션 정리를 유도하여 군 컨볼루션과 푸리에 도메인에서의 점별 곱셈 간의 대응 관계를 보여준다.
• S²와 같은 동차 공간에서의 조화 해석학을 적용하여 구형 컨볼루션과 상관관계를 정의한다.
• 섬유 다발과 동차 공간 작용을 활용해 필드 기반 네트워크로의 준동형성 일반화를 수행하여 이전 결과를 더 넓은 아키텍처로 확장한다.

실험 결과

연구 질문

• RQ1 어떤 수학적 조건이 컴 pact 군의 작용 하에서 신경망이 준동형성을 갖는 데 보장하는가?
• RQ2 유럽형 공간에서의 컨볼루션 연산을 SO(3) 및 S²와 같은 군과 동차 공간으로 어떻게 일반화할 수 있는가?
• RQ3 신경망에서 군 준동형성과 컨볼루션 구조 간의 정확한 관계는 무엇인가?
• RQ4 기저 표현과 특수 함수(예: 구형 조화 함수)는 군에서의 조화 해석학 맥락에서 어떻게 자연스럽게 도출되는가?
• RQ5 준동형 네트워크 이론을 표준 CNN을 초월해 기능 맵을 동차 공간 위의 필드로 간주하는 아키텍처로 확장할 수 있는가?

주요 결과

• 신경망이 군 준동형성인 것은 오직 그 구조가 컨볼루션일 때에만 성립하며, Kondor와 Trivedi(ICML’18)에 의해 증명되었다.
• Cohen 등(ICML’19)의 일반화 결과는 이 결과를 기능 맵이 동차 공간 위의 필드로 간주되는 네트워크로 확장하여 더 넓은 이론적 기반을 확립하였다.
• 구형 조화 함수는 SO(3)의 기저 표현의 행렬 원소로서 자연스럽게 도출되며, 이는 구형 CNN의 기초를 이룬다.
• 컴 pact 군에서의 컨볼루션 정리는 푸리에 변환을 통한 효율적 계산을 가능하게 하여 SO(3) 및 S² 기반 네트워크의 복잡도를 감소시킨다.
• 3D 스텐릴러 CNNs와 클레브시-고르단 네트워크는 기저 표현과 결합 규칙을 활용하여 회전 준동형성을 달성한다.
• 이 이론은 입력 변환(예: 회전)에 대해 일반화가 잘 되는 매개변수 효율적인 모델을 가능하게 하여 3D 및 구형 데이터 작업에서 표본 수와 모델 복잡도를 감소시킨다.