[논문 리뷰] A Practical Method for Constructing Equivariant Multilayer Perceptrons for Arbitrary Matrix Groups

Marc Finzi, Max Welling외 1명|arXiv (Cornell University)|2021. 04. 19.

Topic Modeling참고 문헌 40인용 수 25

한 줄 요약

논문은 일반적인 행렬군에 대해 equivariant 다층 퍼셉트론(EMLP)을 구축하기 위한 일반 알고리즘을 개발하며, O(5), O(1,3), Sp(n), 그리고 Rubik’s cube group과 같은 그룹을 포함하고, 효율적인 Krylov 기반 방법과 bilinear layer를 사용합니다.

ABSTRACT

Symmetries and equivariance are fundamental to the generalization of neural networks on domains such as images, graphs, and point clouds. Existing work has primarily focused on a small number of groups, such as the translation, rotation, and permutation groups. In this work we provide a completely general algorithm for solving for the equivariant layers of matrix groups. In addition to recovering solutions from other works as special cases, we construct multilayer perceptrons equivariant to multiple groups that have never been tackled before, including $\mathrm{O}(1,3)$, $\mathrm{O}(5)$, $\mathrm{Sp}(n)$, and the Rubik's cube group. Our approach outperforms non-equivariant baselines, with applications to particle physics and dynamical systems. We release our software library to enable researchers to construct equivariant layers for arbitrary matrix groups.

연구 동기 및 목표

• 다양한 도메인에 걸친 임의의 군 대칭을 존중하는 신경망의 필요성을 동기 부여하고 형식화한다.
• 임의의 행렬군 표현 간의 등가 선형 층을 특성화하고 구성하기 위한 완전하고 일반적인 알고리즘을 제공한다.
• 등가 바운드의 효율적인 계산과 확장 가능한 네트워크 구조를 제시하여 실용적 배치를 가능하게 한다.
• 새로운 그룹(O(5), O(1,3), Sp(n), Rubik’s cube group)에서 접근 방식을 시연하고 사용 가능한 소프트웨어 라이브러리를 릴리스한다.

제안 방법

• 표현 간의 사상에 대한 등가 제약 조건 형식화: rho2(g) W rho1(g)^{-1} = W.
• 비용이 무한한 제약 집합을 이산 생성자의 수 M과 리 Lie 군 차원 D인 O(M+D)의 유한한 조건으로 축소한다.
• 동형 시스템을 SVD로 풀어 널공간 C v = 0에서 v를 얻고 등가 사상을 v = Q β로 표현하여 등가 기반을 구성한다.
• 큰 표현 행렬을 형성하지 않고도 기반을 효율적으로 계산하는 빠른 Krylov 기반 널공간 절차를 도입한다.
• 블록 구조와 Kronecker 곱을 활용하여 계산을 가속화하고 표준 MLP와 비슷한 실행 시간을 달성한다.
• 등가 선형 층, 게이트된 비선형성, 그리고 서로 다른 텐서 표현 간의 축약을 가능하게 하는 저렴한 bilinear layer를 사용하여 Equivariant MLP(EMLP)를 구성한다.

실험 결과

연구 질문

• RQ1 임의의 행렬군과 표현에 대해 등가 층을 구성하기 위한 완전하고 실용적인 알고리즘을 도출할 수 있는가?
• RQ2 전체 그룹을 열거하지 않고도 큰 또는 연속적인 그룹에 대해 등가 기반을 효율적으로 계산할 수 있는가?
• RQ3 EMLP가 O(5), O(1,3), Sp(n), 및 Rubik’s cube group과 같은 대칭을 가진 작업에서 비등가 기반 기준선보다 성능이 우수한가?
• RQ4 새로운 그룹에 대해 그룹 생성자와 표현을 지정하여 전체 EMLP를 구축하는 것이 실현 가능한가?

주요 결과

• 방법은 등가 제약을 O(M+D) 유한 조건으로 축소하고 다항 시간 솔버를 제공한다.
• 빠른 Krylov 기반 알고리즘이 등가 기반을 효율적으로 계산하여 고차원 표현을 실제로 처리할 수 있게 한다.
• 제안된 방법으로 구성된 EMLPs가 합성 및 동역학 계(system) 작업에서 비등가 기반 기준선을 능가한다.
• 동일한 기본 아키텍처를 사용하여 O(5), O(1,3), Sp(n), 및 Rubik’s cube group과 같은 이전에는 불가능했던 그룹도 성공적으로 다룬다.
• 데이터 효율성과 표준 MLP와 비슷한 실행 시간으로 데이터 효율성과 실행 시간이 경쟁력 있음을 실증적으로 보여준다.