[논문 리뷰] Gauge Equivariant Convolutional Networks and the Icosahedral CNN

Taco Cohen, Maurice Weiler외 2명|arXiv (Cornell University)|2019. 02. 11.

3D Shape Modeling and Analysis참고 문헌 45인용 수 176

한 줄 요약

이 논문은 일반 매니폴드에서 게이지 이퀴발런트를 개발하고 이를 아이코사헤드릭 메시에 구현하여 Icosahedral CNNs를 만들고, 전방향 이미지 작업 및 기후 패턴 구분에서 강력한 성능을 달성한다.

ABSTRACT

The principle of equivariance to symmetry transformations enables a theoretically grounded approach to neural network architecture design. Equivariant networks have shown excellent performance and data efficiency on vision and medical imaging problems that exhibit symmetries. Here we show how this principle can be extended beyond global symmetries to local gauge transformations. This enables the development of a very general class of convolutional neural networks on manifolds that depend only on the intrinsic geometry, and which includes many popular methods from equivariant and geometric deep learning. We implement gauge equivariant CNNs for signals defined on the surface of the icosahedron, which provides a reasonable approximation of the sphere. By choosing to work with this very regular manifold, we are able to implement the gauge equivariant convolution using a single conv2d call, making it a highly scalable and practical alternative to Spherical CNNs. Using this method, we demonstrate substantial improvements over previous methods on the task of segmenting omnidirectional images and global climate patterns.

연구 동기 및 목표

• 일반 매니폴드에서 게이지 이퀴발런트를 도입하여 intrinsic 기하학에 의존하는 CNN을 가능하게 한다.
• icosahedral 표면에서 게이지 이퀴발런트 CNN의 확장 가능한 구현을 제안하여 구면 CNN에 대한 효율적인 대안으로 제시한다.
• 전방향 이미지 세분화 및 기후 패턴 세분화에서 향상된 성능을 보여준다.
• 게이지 패딩과 커널 확장이 성능과 일반화에 이롭다는 것을 보인다.

제안 방법

• 매니폴드에서 게이지를 국부 프레임으로 정의하고 게이지 변환을 설명한다.
• K(v)가 등가성을 보장하기 위해 K(g^{-1}v)=rho_out(g^{-1}) K(v) rho_in(g) 를 만족하는 게이지 이퀴발런트 컨벌루션을 형식화한다.
• 피처 필드가 rho 표현에 따라 변환됨(스칼라, 벡터, 그리고 일반 C6 표현 포함).
• 프레임워크를 겹치는 차트 아틀라스와 C6 게이지를 갖춘 아이코사헤드럴 매니폴드에 특수화하여 실용적인 conv2d 기반 구현을 가능하게 한다.
• G-padding, 커널 확장, 그리고 2d 컨볼루션(HexaConv)을 구현하여 게이지 이퀴발런트 Icosahedral Convolution(GConv)을 수행한다.
• 커널의 가중치 공유 체계를 제공하여 차트 전이에서 이퀴발런스 제약을 강제한다.

실험 결과

연구 질문

• RQ1 일반 매니폴드에서 CNN의 게이지 이퀴발런스를 정의하고 구현하려면 어떻게 해야 하는가?
• RQ2 ICOSAhedral과 같은 규칙적 매니폴드에서 확장 가능한 실제 게이지 이퀴발런트 CNN을 구현할 수 있으며, 그것이 구면 CNN과 어떻게 비교되는가?
• RQ3 게이지 패딩과 커널 확장이 회전되거나 변환된 데이터에서 성능 및/또는 일반화를 향상시키는가?
• RQ4 Icosahedral CNN은 전방향 신호 세분화 및 기후 패턴 세분화에서 벤치마크 대비 어떻게 성능을 보이는가?

주요 결과

아키텍처	N/N	N/I	N/R	I/I	I/R	R/R
S2CNN	99.38	99.38	99.38	99.12	99.13	99.12
NP+NE	99.29	25.50	16.20	98.52	47.77	94.19
NE	99.42	25.41	17.85	98.67	60.74	96.83
NP	99.27	36.76	21.4	98.99	61.62	97.87
S2S	97.81	97.81	55.64	97.72	58.37	89.92
S2R	98.99	98.99	59.76	98.62	55.57	98.74
R2R	99.43	99.43	69.99	99.38	66.26	99.31

• Icosahedral CNNs는 특정 학습/테스트 조건에서 IcoMNIST에서 최대 99.43% 테스트 정확도를 달성한다.
• 전체 R2R 모델(정규에서 정규로)이 모든 조건에서 최상을 보이며, 게이지 패딩과 커널 확장의 가치를 보여준다.
• 비-등가 모델은 변환된 데이터에 일반화하는 데 어려움을 겪어 등가성의 이점을 강조한다.
• 등가 모델(S2S, S2R, R2R)은 Icosahedral 대칭으로 변환된 테스트 데이터(I-transform)에서 완벽하게 일반화한다; SO(3) 증강은 견고성을 추가로 향상시킨다.
• 구면 CNN과 비교할 때 Icosahedral 접근 방식은 더 빠르고 확장 가능하며, 보고된 설정에서 경쟁력 있거나 더 나은 성능을 제공한다.