[논문 리뷰] On Representing (Anti)Symmetric Functions

Marcus Hütter|arXiv (Cornell University)|2020. 07. 30.

Neural Networks and Applications참고 문헌 18인용 수 14

한 줄 요약

이 논문은 연속적인 (반)대칭 함수를 근사하기 위한 등변성과 반대칭성 신경망의 보편성을 확립하며, 등변성 다층 퍼셉트론(EMLPs)이 대칭 함수를 보편적으로 근사할 수 있음을 증명하고, 일반화된 슬래터 행렬식을 사용하는 페르미넷(FermiNet)이 어떤 연속적인 반대칭 함수라도 근사할 수 있음을 보이며, 일차원 경우에 대해 연속성과 미분 가능성에 대한 명시적 보장을 제공하고 고차원에서는 열린 문제를 제기한다.

ABSTRACT

Permutation-invariant, -equivariant, and -covariant functions and anti-symmetric functions are important in quantum physics, computer vision, and other disciplines. Applications often require most or all of the following properties: (a) a large class of such functions can be approximated, e.g. all continuous function, (b) only the (anti)symmetric functions can be represented, (c) a fast algorithm for computing the approximation, (d) the representation itself is continuous or differentiable, (e) the architecture is suitable for learning the function from data. (Anti)symmetric neural networks have recently been developed and applied with great success. A few theoretical approximation results have been proven, but many questions are still open, especially for particles in more than one dimension and the anti-symmetric case, which this work focusses on. More concretely, we derive natural polynomial approximations in the symmetric case, and approximations based on a single generalized Slater determinant in the anti-symmetric case. Unlike some previous super-exponential and discontinuous approximations, these seem a more promising basis for future tighter bounds. We provide a complete and explicit universality proof of the Equivariant MultiLayer Perceptron, which implies universality of symmetric MLPs and the FermiNet.

연구 동기 및 목표

• 양자역학과 포인트 클라우드 처리에 핵심적인 역할을 하는 정확한 (반)대칭 함수를 표현할 수 있는 신경망 아키텍처의 이론적 기초를 확립하기 위해.
• 연속적인 반대칭 신경망이 모든 연속적인 반대칭 함수를 보편적으로 근사할 수 있는지 여부, 특히 고차원에서의 경우를 다루는 열린 문제를 해결하기 위해.
• 등변성 다층 퍼셉트론(EMLPs)에 대한 구축적이고 완전한 보편성 증명을 제공하기 위해.
• 일반화된 슬래터 행렬식(GSD) 기반 표현의 부드러움과 미분 가능성에 대해 분석하며, 바르멘드 행렬식에서의 미분 가능성 상실과의 관계를 규명하기 위해.
• d > 1 차원에서 효율적이고 연속적이며 미분 가능한 반대칭 함수 표현에 관한 열린 문제를 규명하고 명확히 하기 위해.

제안 방법

• 공유된 가중치와 군 등변 표현을 활용하여, 등변성 다층 퍼셉트론(EMLPs)이 연속적인 등변 함수를 근사할 수 있음을 보여주는 구축적 보편성 증명을 사용한다.
• d=1의 경우에서 대칭 함수의 연속적이고 미분 가능하며 효율적인 표현을 구성하기 위해 다중대칭다항식의 극성 기저를 적용한다.
• 일차원 경우에서 일반화된 슬래터 행렬식(GSD)을 바르멘드 행렬식으로 축소하여 반대칭 함수 표현의 부드러움과 미분 가능성에 대해 분석한다.
• 기저 함수가 C^k일 경우, GSD가 C^{k+n(n-1)/2} 반대칭 함수를 모두 표현할 수 있음을 보이며, 이는 부드러움의 상실을 수반하는 교환 조건을 설정한다.
• EMLP의 보편성 결과를 대칭 MLP와 페르미넷으로 확장하기 위해 EMLP 출력을 합 또는 행렬식 연산을 통해 대칭화 또는 반대칭화한다.
• 근사 오차와 파rameter 효율성에 대해 분석하며, 가중치 공유로 인해 파rameter 수가 약 n/2 감소하지만, 기저 크기가 O(n^d)로 증가하여 표현 능력에 영향을 미친다.

실험 결과

연구 질문

• RQ1 등변성 다층 퍼셉트론(EMLPs)은 모든 연속적인 대칭 및 반대칭 함수를 보편적으로 근사할 수 있는가?
• RQ2 d=1일 때, 단일 일반화된 슬래터 행렬식(GSD)이 모든 연속적인 반대칭 함수를 표현할 수 있는가? 그리고 기저 함수에 필요한 부드러움 수준은 무엇인가?
• RQ3 d>1일 때, 단일 GSD를 사용하여 모든 연속적인 반대칭 함수를 연속적이고 미분 가능한 방식으로 표현할 수 있는가, 아니면 불연속성이 피할 수 없는가?
• RQ4 기저 함수의 부드러움과 GSD 표현의 부드러움 사이의 관계는 무엇인가? 특히, 미분 가능성 상실 측면에서 어떻게 평가할 수 있는가?
• RQ5 근사 오차 없이 반대칭 함수만을 정확히 표현할 수 있는 효율적이고 연속적이며 미분 가능한 신경망 아키텍처를 구성할 수 있는가?

주요 결과

• 등변성 다층 퍼셉트론(EMLP)은 연속적인 등변 함수에 대해 보편적임을 증명하였으며, 이는 대칭 MLP와 페르미넷의 보편성을 암시한다.
• d=1의 경우, C^{k+n(n-1)/2}에 속하는 모든 연속적인 반대칭 함수는 C^k 함수로 구성된 행렬의 행렬식으로 표현될 수 있으며, 이는 부드러움을 유지하는 표현 방식을 확립한다.
• d=1의 경우, GSD를 통한 표현은 연속성과 미분 가능성을 제어 가능한 손실 수준까지 유지하며, 기저 함수가 C^k이면 GSD 역시 C^k가 된다.
• d>1의 경우, 보편성 증명은 표현 내 불연속 성분에 의존하며, 모든 연속적인 반대칭 함수를 연속적으로 표현할 수 있는지 여부는 알려져 있지 않다.
• EMLPs의 근사 오차는 표준 MLP와 유사하게 스케일링될 것으로 예상되며, 가중치 공유로 인해 파rameter 수가 감소하지만, 기저 크기가 O(n^d)로 증가하여 표현 능력에 영향을 미친다.
• 페르미넷은 GSD 기반 아키텍처의 특수한 경우로서, d>1에서 모든 연속적인 반대칭 함수를 L^p 노름으로 근사할 수 있지만, L^∞의 경우는 여전히 열린 문제이다.