[논문 리뷰] Universal approximation of symmetric and anti-symmetric functions

Jiequn Han, Yingzhou Li외 4명|arXiv (Cornell University)|2019. 12. 04.

Approximation Theory and Sequence Spaces인용 수 7

한 줄 요약

이 논문은 차원과 목표 정밀도에 따라 오차 한계가 증명된, 대칭 및 반대칭 함수에 대한 신경망을 사용한 최초의 명시적 보편 근사 정리들을 제시한다. 바르드모르 델레미터와 순열 등변 매핑을 통해 근사를 구성하며, 차원의 저주에도 불구하고 명시적 파라미터 수 계수 한계를 갖는 보편 근사를 달성한다.

ABSTRACT

We consider universal approximations of symmetric and anti-symmetric functions, which are important for applications in quantum physics, as well as other scientific and engineering computations. We give constructive approximations with explicit bounds on the number of parameters with respect to the dimension and the target accuracy $ε$. While the approximation still suffers from the curse of dimensionality, to the best of our knowledge, these are the first results in the literature with explicit error bounds for functions with symmetry or anti-symmetry constraints.

연구 동기 및 목표

• 대칭 및 반대칭 함수에 대한 보편 근사 정리를 명시적 오차 한계와 함께 수립하기 위해.
• 과학 계산에서 대칭 제약 조건 하에 신경망 근사에 대한 이론적 보장을 부족한 문제를 해결하기 위해.
• 표현력을 유지하면서 대칭성 또는 반대칭성을 강제하는 구조적 신경망 아키텍처를 제공하기 위해.
• 차원의 저주 하에서 이러한 근사의 파라미터 효율성과 확장성 분석하기 위해.

제안 방법

• 특성 변수와 순열 불변 매핑을 기반으로 한 표 형태 전략을 사용하여 대칭 근사를 구성한다.
• 근사에서 대칭 제약 조건이 유지되도록 순열 등변 매핑 $Y^Z$ 를 활용한다.
• 반대칭 함수에 대한 보편 안사트로 바르드모르 델레미터를 사용하여 반대칭 파동함수의 명시적 근사를 가능하게 한다.
• 오차 $\epsilon$ 내에서 근사를 위해 필요한 파라미터 수의 명시적 한계를 유도하며, 이는 차원 $d$, 입자 수 $N$, 정밀도 $\epsilon$ 에 따라 달라진다.
• 근사 아키텍처에서 대칭 제약 조건을 강제하기 위해 지표 함수를 적용한다.
• 변량 몬테카를로 응용을 위해 시험 파동함수 형태 $f(X) = \sum_{k=1}^K U^k(X) \prod_{i<j}(y^k_i(X) - y^k_j(X))$ 를 제안한다.

실험 결과

연구 질문

• RQ1 고차원 설정에서 대칭 및 반대칭 함수의 보편 근사가 명시적 오차 한계와 함께 달성될 수 있는가?
• RQ2 주어진 정밀도 $\epsilon$ 내에서 대칭 또는 반대칭 함수를 근사하기 위해 필요한 최소 파라미터 수는 얼마인가?
• RQ3 대칭 제약 조건은 신경망 근사의 일반화 및 파라미터 효율성에 어떤 영향을 미치는가?
• RQ4 불연속적인 정렬 레이어에 의존하지 않고도 연속적이고 대칭을 유지하는 근사를 구성할 수 있는가?
• RQ5 바르드모르 델레미터는 양자 다체 문제에서 반대칭 함수에 대한 보편 안사트로 어떤 역할을 하는가?

주요 결과

• 논문은 $\epsilon$, $N$, $d$ 를 기준으로 증명 가능한 오차 한계를 갖는 대칭 및 반대칭 함수에 대한 최초의 명시적 보편 근사 정리를 수립한다.
• 대칭 함수의 경우, 필요한 파라미터 수는 $\mathcal{O}(2^N / \epsilon^{Nd} N!)$ 의 비율로 증가하며, 이는 차원의 저주를 반영한다.
• 반대칭 함수의 경우, 바르드모르 델레미터를 보편 안사트로 사용하여 명시적 파라미터 한계를 갖는 보편 근사를 가능하게 한다.
• 근사 방법은 순열 등변 매핑과 표 형태 전략에 의존하여 네트워크 전반에서 대칭성이 유지됨을 보장한다.
• 정렬 레이어의 불연속성을 피했지만, 강력한 노드 매칭 가정이 필요한 연속적 변형은 향후 연구에 남겨져 있다.
• 제안된 안사트 $f(X) = \sum_{k=1}^K U^k(X) \prod_{i<j}(y^k_i(X) - y^k_j(X))$ 는 변량 몬테카를로에서 슬래터 행렬식의 실용적이고 효율적인 대안으로 입증된다.