[논문 리뷰] A General Theory of Equivariant CNNs on Homogeneous Spaces

Taco Cohen, Mario Geiger외 1명|arXiv (Cornell University)|2018. 11. 05.

Neural Networks and Applications참고 문헌 51인용 수 36

한 줄 요약

이 논문은 군 작용과 피브어 복합체 이론을 사용하여 동차 공간 위에서 군-등변성 컨volution 신경망(G-CNNs)을 위한 일반적인 수학적 프레임워크를 제시한다. 모든 등변성 선형 레이어가 등변성 커널을 가진 컨볼루션으로 표현될 수 있음을 보이며, 이러한 커널은 군 표현과 쌍대군 공간을 통해 특성화된다. 이는 유클리드 공간, 구면, 3차원 강체 운동 등에 광범위하게 적용 가능한 단일 형식론으로 기존 G-CNNs를 통합한다.

ABSTRACT

We present a general theory of Group equivariant Convolutional Neural Networks (G-CNNs) on homogeneous spaces such as Euclidean space and the sphere. Feature maps in these networks represent fields on a homogeneous base space, and layers are equivariant maps between spaces of fields. The theory enables a systematic classification of all existing G-CNNs in terms of their symmetry group, base space, and field type. We also consider a fundamental question: what is the most general kind of equivariant linear map between feature spaces (fields) of given types? Following Mackey, we show that such maps correspond one-to-one with convolutions using equivariant kernels, and characterize the space of such kernels.

연구 동기 및 목표

• 군 작용과 피브어 복합체를 기반으로 다양한 G-CNN 아키텍처를 단일 수학적 프레임워크로 통합하기 위해.
• 새로운 등변성 네트워크의 체계적 분류 및 설계 지침이 부족한 새로운 모odalities에서의 문제를 해결하기 위해.
• 기본적인 질문에 답하기 위해: 주어진 대칭 유형을 가진 특징 필드 간의 가장 일반적인 등변성 선형 사상의 형태는 무엇인가요?
• 딥 러닝과 현대 수학 및 물리학을 연결하는 형식론을 제공하여 다분야 간 통찰을 가능하게 하기 위해.

제안 방법

• 모델의 특징 공간을 동차 공간 B ≅ G/H 위의 주 G-다발에 관련된 벡터 다발의 단면으로 모델링한다.
• 안정자 부분군 H의 표현 ρ를 통해 필드 유형을 정의하여 텐서, 벡터 또는 스칼라 성격을 캡슐화한다.
• 이러한 특징 공간 간의 등변성 선형 사상이 특정 등변성 조건을 만족하는 커널을 가진 컨볼루션과 동치임을 확립한다.
• 등변성 커널의 공간을 세 가지 등가 방식으로 특성화한다: G 위의 함수, 기저 공간 B 위의 함수, 또는 이중 쌍대군 공간 H₁\G/H₂ 위의 함수로.
• 맥키 이론을 사용하여 등변성 사상과 등변성 커널 간의 일대일 대응을 보여준다.
• 구체적 사례에 이 형식론을 적용한다: 구면에서의 SO(3), 3차원 공간에서의 SE(3)를 고려하고, 등방성 및 비등방성 필터의 커널 제약 조건을 유도한다.

실험 결과

연구 질문

• RQ1 주어진 군 대칭성을 유지하는 동차 공간 B ≅ G/H 위의 특징 필드 간의 선형 사상 중 가장 일반적인 형태는 무엇인가요?
• RQ2 기존의 G-CNNs는 대칭군 G, 기저 공간 B ≅ G/H, 그리고 필드 표현 ρ의 관점에서 어떻게 체계적으로 분류될 수 있나요?
• RQ3 G-CNNs의 모든 등변성 레이어는 군 작용에 대해 등변성인 커널을 가진 컨볼루션으로 표현될 수 있나요?
• RQ4 커널 제약 조건은 동차 공간의 구조와 표현 ρ의 선택에 따라 어떻게 달라지나요?
• RQ5 이중 쌍대군 공간은 등변성 커널 공간의 매개변수화에 어떤 역할을 하나요?

주요 결과

• 동차 공간 B ≅ G/H 위의 특징 필드 간의 모든 선형 등변성 사상은 군 작용에 대해 특정 등변성 조건을 만족하는 커널을 가진 컨볼루션과 동치이다.
• 등변성 커널의 공간은 표현 기반 제약 조건을 만족하는 이중 쌍대군 공간 H₁\G/H₂ 위의 행렬값 함수의 공간과 등장한다.
• SO(3) 대칭성을 가진 구면 S²의 경우, 등변성 커널은 [0, π) 위의 함수이며, 극점에서만 제약이 있으며, 등방성 및 비등방성 필터를 일반화한다.
• SE(3) 대칭성을 가진 3차원 공간에서는 ℝ³ 위의 등변성 커널이 r ∈ SO(3)에 대해 ϰ(rx) = ρ₂(r)ϰ(x)ρ₁(r⁻¹)를 만족하며, 3D 데이터용 스테어블 CNN를 가능하게 한다.
• 이 이론은 구면 CNN과 3D 스테어블 CNN를 포함한 기존 G-CNNs를 피브어 복합체와 유도 표현을 기반으로 하는 단일 프레임워크로 통합한다.
• 이 형식론은 벡터장이나 대칭 도메인 위의 텐서장과 같은 새로운 데이터 유형을 위한 새로운 등변 아키텍처의 체계적 설계를 가능하게 한다.