[논문 리뷰] Clebsch-Gordan Nets: a Fully Fourier Space Spherical Convolutional Neural Network

Risi Kondor, Zhen Lin외 1명|arXiv (Cornell University)|2018. 06. 24.

Seismic Imaging and Inversion Techniques인용 수 60

한 줄 요약

논문은 Clebsch–Gordan 기반 비선형성을 푸리에 공간에서 사용하여 구면 CNN을 일반화하고, 완전한 푸리에 공간에서의 회전 동등성 네트워크를 구현하며 경쟁력 있는 결과를 얻고 변환 수를 줄인다.

ABSTRACT

Recent work by Cohen \\emph{et al.} has achieved state-of-the-art results for learning spherical images in a rotation invariant way by using ideas from group representation theory and noncommutative harmonic analysis. In this paper we propose a generalization of this work that generally exhibits improved performace, but from an implementation point of view is actually simpler. An unusual feature of the proposed architecture is that it uses the Clebsch--Gordan transform as its only source of nonlinearity, thus avoiding repeated forward and backward Fourier transforms. The underlying ideas of the paper generalize to constructing neural networks that are invariant to the action of other compact groups.

연구 동기 및 목표

• 정확한 회전 불변성을 갖춘 구면 데이터 학습의 동기를 부여하고 이를 다른 compact 그룹으로 일반화한다.
• 반복적인 순전파/역전파 푸리에 변환을 피하는 완전한 푸リエ 공간 신경망을 개발한다.
• 네트워크의 유일한 비선형으로 Clebsch–Gordan 기반 비선형화를 도입한다.
• SO(3) 하에서 공변성 보장을 제공하고 실험적 성능을 입증한다.
• 표현력을 유지하면서 모델 크기를 합리적으로 관리하기 위해 채널 성장을 제어한다.

제안 방법

• 활성화를 SO(3)-공변 벡터(조각)로 표현한다(불변 표현들 across irreducible representations).
• 각 각의 각도 주파수 ℓ에 대해 Gℓ = Fℓ · Wℓ 로 진화하는 공변 선형 변환을 사용한다(명제 2).
• CG 분해를 통해 조각들을 텐서 곱과 CG 분해로 결합하는 비선형 Clebsch–Gordan 변환을 도입해 공변 출력을 생성한다(보조정리 3).
• 모든 (ℓ1, ℓ2) 쌍에 걸친 CG 출력을 합치고 학습 가능한 선형 변환을 적용해 레이어당 조각 수를 제한한다(τℓ).
• 최종적으로 ℓ=0 구성요소에서 SO(3) 불변 스칼라를 출력하는 불변 최종 레이어를 유지한다.
• 초기 구면 조화 변환, 그 다음 S−1 CG+linear 레이어, 그리고 불변 최종 레이어로 구성된 엔드투엔드 순전파 설명을 제공한다.

실험 결과

연구 질문

• RQ1 SO(3)-공변 네트워크가 역-전진 푸리에 변환 없이도 정확한 회전 불변성을 달성할 수 있는가?
• RQ2 Clebsch–Gordan 분해에 기반한 완전 푸리에 공간 비선형 연산이 기존의 구면 CNN보다 성능을 향상시키는가?
• RQ3 CG 비선형성 후 채널의 조합적 증가를 네트워크가 어떻게 효율성을 유지하면서 관리할 수 있는가?
• RQ4 Clebsch–Gordan 네트워크가 SO(3) 이외의 다른 compact 그룹으로 얼마나 일반화될 수 있는가?

주요 결과

• 구면 위의 회전된 MNIST에서 제안된 방법은 96.4% NR/NR, 96% NR/R, 96.6% R/R의 정확도를 달성하며 Cohen et al.(95.59, 94.62, 93.4) 및 기본 CNN(97.67, 22.18, 12)을 능가한다.
• 해당 방법은 이전 연구의 이산화된 접근 방식보다 회전에 대해 높은 정확도를 유지하여 공변성 보존이 더 잘 이루어짐을 시사한다.
• 완전한 푸리에 공간에서 작동해 앞뒤 변환의 수를 크게 줄였고, 유한 정밀도 한도 내에서 정확한 회전 공변성을 보장한다.
• 아키텍처는 2차 Clebsch–Gordan 비선형성을 사용하며, 더 높은 차수 CG 거듭제곱으로 확장 가능하여 푸리에 공간에서_effective_ 특징 융합을 가능하게 한다.
• CG 결합 후 레이어별 채널 성장을 상향 축소하는 학습 가능한 선형 축소 단계를 통해 모델을 합리적으로 유지하는 메커니즘이 포함되어 있다.