[논문 리뷰] Unified Fourier-based Kernel and Nonlinearity Design for Equivariant Networks on Homogeneous Spaces

Yinshuang Xu, Jiahui Lei외 2명|arXiv (Cornell University)|2022. 06. 16.

Advanced Neuroimaging Techniques and Applications인용 수 4

한 줄 요약

이 논문은 동차 공간 위에서 군-등변성 컨volution 뉴럴 워크를 설계하기 위한 통합적인 푸리에 기반 프레임워크를 제안한다. 안정자 부분군이 컴act Lie 군일 경우 푸리에 계수의 스펙트럴 희박성을 활용한다. 군으로의 업로드, 요소별 비선형성 적용, 다시 투영하는 방식으로 새로운 등변성 비선형성을 제안하며, SO(3) 및 SE(3)에서 구면 벡터장 회귀, 포인트 클라우드 분류, 분자 완성 등에서 최신 기준 성능을 달성한다.

ABSTRACT

We introduce a unified framework for group equivariant networks on homogeneous spaces derived from a Fourier perspective. We consider tensor-valued feature fields, before and after a convolutional layer. We present a unified derivation of kernels via the Fourier domain by leveraging the sparsity of Fourier coefficients of the lifted feature fields. The sparsity emerges when the stabilizer subgroup of the homogeneous space is a compact Lie group. We further introduce a nonlinear activation, via an elementwise nonlinearity on the regular representation after lifting and projecting back to the field through an equivariant convolution. We show that other methods treating features as the Fourier coefficients in the stabilizer subgroup are special cases of our activation. Experiments on $SO(3)$ and $SE(3)$ show state-of-the-art performance in spherical vector field regression, point cloud classification, and molecular completion.

연구 동기 및 목표

• 동차 공간 위에서 군 컨volution 뉴럴 워크의 등변성 커널과 비선형성을 푸리에 도메인 관점에서 통합적으로 설계하기 위해.
• 안정자 부분군이 컴 pact Lie 군일 경우, 업로드된 특징 필드의 푸리에 계수에서 스펙트럴 희박성을 활용하여 효율적인 커널 설계를 가능하게 하기 위해.
• 필드를 군으로 업로드하고, 요소별 비선형성(예: ReLU)을 적용한 후 등변성 컨볼루션을 통해 다시 투영함으로써 일반적인 등변성 활성화 함수를 개발하기 위해.
• 3D 형태 분류 및 분자 구조 복원 등 다양한 등변성 벤치마크에서 최신 기준 성능을 입증하기 위해.
• 기존의 노름 기반 및 Clebsch-Gordan 기반 비선형성과 같은 접근법을 단일 푸리에 기반 프레임워크 아래 통합 및 일반화하기 위해.

제안 방법

• 작용 군 위의 매크리 함수로 동차 공간의 텐서 값 특징 필드를 업로드하여 군의 구조를 활용해 등변성을 확보하기 위해.
• 매크리 함수의 푸리에 변환을 통해 안정자 부분군이 컴 pact Lie 군일 경우 푸리에 도메인에서 블록-희박한 패턴을 드러내기 위해.
• 푸리에 도메인에서 희박한 행렬로 등변성 컨볼루션 커널을 설계하여 명시적 대수적 또는 수치적 제약 없이 수행하기 위해.
• 필드를 군으로 업로드하고, 요소별 비선형성(예: ReLU)을 적용한 후 등변성 컨볼루션을 통해 다시 투영함으로써 비선형 활성화를 구현하기 위해.
• 푸리에 도메인에서 정규 표현과 군 불변 투영을 사용하여 등변성을 구성에 따라 보장하기 위해.
• SO(3) 및 SE(3)에 이 프레임워크를 적용하여 대역폭과 투영 기법을 사용해 계산 효율성과 등변성을 유지하기 위해.

실험 결과

연구 질문

• RQ1 동차 공간 위의 업로드된 특징 필드의 푸리에 도메인에서의 스펙트럴 희박성을 활용하여 등변성 네트워크에서 커널과 비선형성 설계를 통합할 수 있는가?
• RQ2 기존 방법(예: 노름 기반 또는 Clebsch-Gordan 기반 비선형성)을 포함하는 일반적인 푸리에 기반 프레임워크가 존재하는가?
• RQ3 푸리에 희박성 기반 커널 설계가 SO(3) 및 SE(3)에 대한 등변성 요구 사항을 충족하는 작업에서 최신 기준 성능을 달성할 수 있는가?
• RQ4 제안된 비선형성은 벡터장 및 포인트 클라우드 작업에서 기존 접근법에 비해 표현력과 성능 측면에서 어떻게 비교되는가?
• RQ5 안정자 부분군이 컴 pact Lie 군일 경우, 이 프레임워크가 다양한 동차 공간과 안정자 군으로 일반화되는 정도는 어느 정도인가?

주요 결과

• 안정자 부분군이 컴 pact Lie 군일 경우, 군 위의 매크리 함수의 푸리에 계수는 블록-희박한 패턴을 보이며, 이는 효율적이고 통합적인 커널 설계를 가능하게 한다.
• 제안된 비선형성은 이전 방법을 일반화한다: Poulenard & Guibas (2021)의 비선형성은 제안된 업로드-투영 프레임워크의 특수 케이스이다.
• ModelNet40 데이터셋에서 SO(3) 증강 조건 하에 89.7%의 정확도를 달성하였으며, TFN[mlp]-P 및 VN-DGCNN과 같은 최신 기준 모델과 동등하거나 이를 초월한다.
• 분자 구조 복원 작업에서 19원자 분자에서 98.0% 정확도와 0.06Å MAE를 기록하였으며, TFN(93.9% 정확도, 0.14Å MAE)을 능가한다.
• 이 프레임워크는 구면 벡터장 회귀 및 3D 포인트 클라우드 분류에서 최신 기준 성능을 달성하여 다양한 작업 간 강력한 일반화 능력을 입증한다.
• 추가 실험과 벤치마크를 통해 제안된 비선형성을 통해 등변성을 유지하면서도 표현력을 향상시킬 수 있음을 검증하였다.