[논문 리뷰] Clifford Group Equivariant Neural Networks

David Ruhe, J. Brandstetter외 1명|arXiv (Cornell University)|2023. 05. 18.

Advanced Neuroimaging Techniques and Applications인용 수 9

한 줄 요약

본 논문은 Clifford 그룹이 전체 Clifford 대수에 작용하도록 활용함으로써 O(n) 및 E(n) 등가성을 달성하는 Clifford Group Equivariant Neural Networks(CGENNs)을 소개합니다. 이는 차원에 걸쳐 일반화되는 다항식, 등급 투영 및 기하곱 기반의 신경망 층을 가능하게 합니다.

ABSTRACT

We introduce Clifford Group Equivariant Neural Networks: a novel approach for constructing $\mathrm{O}(n)$- and $\mathrm{E}(n)$-equivariant models. We identify and study the $ extit{Clifford group}$, a subgroup inside the Clifford algebra tailored to achieve several favorable properties. Primarily, the group's action forms an orthogonal automorphism that extends beyond the typical vector space to the entire Clifford algebra while respecting the multivector grading. This leads to several non-equivalent subrepresentations corresponding to the multivector decomposition. Furthermore, we prove that the action respects not just the vector space structure of the Clifford algebra but also its multiplicative structure, i.e., the geometric product. These findings imply that every polynomial in multivectors, An advantage worth mentioning is that we obtain expressive layers that can elegantly generalize to inner-product spaces of any dimension. We demonstrate, notably from a single core implementation, state-of-the-art performance on several distinct tasks, including a three-dimensional $n$-body experiment, a four-dimensional Lorentz-equivariant high-energy physics experiment, and a five-dimensional convex hull experiment.

연구 동기 및 목표

• 기하학적 및 물리적 문제에 대한 대칭성과 등가성의 활용을 동기부여한다.
• Clifford 대수 기반 프레임워크를 개발하여 Clifford 그룹하에서 등가 사상을 얻는다.
• 다항식과 등급 투영이 Clifford 그룹 등가임이며 신경망 층에서 매개화될 수 있음을 보인다.
• ClGENN 층(선형, 기하곱 및 게이트드 비선형성)을 Clifford 그룹 작용을 존중하도록 구성하고 평가한다.
• 임의의 차원과 계량 시그니처에 일반화 가능함을 시연하여 O(n) 및 E(n) 등가성을 가능하게 한다.

제안 방법

• Cl(V,q)를 정의하고 Cl^(m)(V,q)로의 등급 분해를 도입하며, dim Cl^(m)=binomial(n,m)이다.
• Clifford 그룹 Γ(V,q)를 도입하고 대수 동형으로 작용하는 조정된 꼬임 공액 ρ(w)를 도입한다.
• ρ(w)가 등급과 확장된 이차 형식을 보존함을 보이고, 등급 투영과 다항식이 등가임을 보장한다.
• 가시 조정 가능한 기저에서 다중벡터 입력을 사용하여 신경망 층을 매개화하고, 선형 및 기하곱 기반 변환을 가능하게 한다.
• 정규화 및 맞춤형 비선형성을 사용하여 수치 안정성을 유지하면서 등가성을 보존한다.
• 데이터를 Cl(V,q)로 스칼라와 벡터를 통해 임베딩하고, 등급 투영된 예측(스칼라 또는 벡터)을 통해 출력을 생성한다.

실험 결과

연구 질문

• RQ1 Clifford-그룹 작용이 전체 Clifford 대수에서 실용적인 O(n) 또는 E(n) 등가 신경망을 얻을 수 있게 하는가? 구형조화(구면조화) 기저나 Clebsch–Gordan 계수를 사용하지 않고도 가능한가?
• RQ2 다중벡터의 다항식과 등급 투영이 등가 층을 위한 조밀하고 표현력이 풍부하며 차원에 구애받지 않는 매개화들을 제공하는가?
• RQ3 CGENN 층이 기하학적 및 물리적 불변성이 필요한 작업(예: n-체 역학, 로렌츠 등가 물리학, 고차원 볼록 껍질 등)에서 기존 등가 구조들과 비교하여 어떤 성능을 보이는가?
• RQ4 실무에서 Clifford-그룹 등가성을 보존하는 효과적인 층 설계(선형, 기하곱, 완전연결 곱 층) 및 정규화 스킴은 무엇인가?

주요 결과

• CGENNs는 3D n-체 역학, 4D 로렌츠 등가 고에너지 물리, 및 5D 볼록 껍질 문제를 포함한 다양한 작업에서 최첨단 성능을 달성한다.
• 모든 등급 투영은 Clifford-그룹 등가이며, 다중벡터의 다항식으로 밀집하고 표현력 있는 매개화를 가능하게 한다.
• Clifford-그룹 작용은 전체 Clifford 대수로 자연스럽게 확장되어 각 등급에서 직교 표현을 생성하고 명시적인 텐서 곱 구성 없이도 가능하게 한다.
• 프레임워크는 임의의 차원과 계량 서명을 넘어 O(n) 및 E(n) 등가성으로 일반화되며 Clebsch–Gordan 계수나 대체 기저를 필요로 하지 않는다.
• 실험 결과 CGENNs가 부피 관련 작업에서 스칼라화 baselines보다 우수한 성능을 보였으며, 데이터가 매우 적은 환경에서 데이터 효율성에 대한 일부 고려가 나타났다.
• 이 연구는 의도적으로 이질적인 기하학적 객체(예: 의사벡터) 모델링을 가능하게 하며 기하 곱을 통한 곱셈 구조를 보존하여 표현력를 확장한다.