[논문 리뷰] Universal approximations of permutation invariant/equivariant functions by deep neural networks

Akiyoshi Sannai, Yuuki Takai외 1명|arXiv (Cornell University)|2019. 03. 05.

Neural Networks and Applications참고 문헌 24인용 수 49

한 줄 요약

논문은 유한 그룹 작용에 대한 불변성/invariant, 동등성/equivariant 보편 근사 정리를 증명하고 표현 이론을 이용해 G-불변/동등 함수를 매개변수를 기하급수적으로 적게 사용하여 근사하는 심층 신경망을 구성한다.

ABSTRACT

In this paper, we develop a theory about the relationship between $G$-invariant/equivariant functions and deep neural networks for finite group $G$. Especially, for a given $G$-invariant/equivariant function, we construct its universal approximator by deep neural network whose layers equip $G$-actions and each affine transformations are $G$-equivariant/invariant. Due to representation theory, we can show that this approximator has exponentially fewer free parameters than usual models.

연구 동기 및 목표

• 치환 불변성/동등성을 고려하는 신경망 연구의 필요성을 제시한다.
• 유한 그룹에 대한 불변/동등 보편 근사 정리를 확립한다.
• 표현 이론을 이용해 불변/동등 아키텍처의 매개변수 효율성을 정량화한다.

제안 방법

• 유한 그룹 작용 하에서 대칭군으로의 임베딩을 통해 G-불변 네트워크와 G-동등 네트워크를 정의한다.
• Kolmogorov–Arnold 표현을 이용해 불변 함수를 근사하는 네트워크를 구성한다.
• G-동등 사상은 Stabilizer 부분군과 불변 성분을 사용하여 표현될 수 있음을 증명한다.
• 불변/동등 네트워크의 자유 매개변수 수가 표준 네트워크에 비해 기하급수적으로 작다는 것을 보인다.

실험 결과

연구 질문

• RQ1 모든 연속적인 G-동등 함수가 ReLU 활성화를 갖는 G-동등 신경망에 의해 균일하게 근사될 수 있는가?
• RQ2 안정자 부분군을 이용해 G-동등 근사를 불변 근사로 축소할 수 있는 방법은 무엇인가?
• RQ3 유한 그룹에 대해 불변/동등 네트워크와 일반 네트워크 간의 매개변수 수 비교는 무엇인가?
• RQ4 구현이 대칭군 S_n에 특수화될 때 어떤 관계를 가지며 기존의 불변/동등 아키텍처와 어떤 관련성이 있는가?

주요 결과

• 임의의 유한 그룹 G에 대해 불변/동등 보편 근사 정도가 확립된다.
• G = S_n인 경우 동등 근사는 Zaheer 등(2017)과 같은 순열-동등 모델과 밀접하게 일치한다.
• 합성-순열 작용(union-of-permutations action) 하에서 불변/동등 모델의 자유 매개변수 수는 일반 모델에 비해 기하급수적으로 작다.
• 구성적 방법은 G-동등 함수 근사를 안정자-불변 성분으로 축소한다.
• 이 방법은 표현 이론을 이용해 너비/깊이를 상한하고 매개변수 효율성을 정당화한다.