[논문 리뷰] On the Universality of Invariant Networks

Haggai Maron, Ethan Fetaya외 2명|arXiv (Cornell University)|2019. 01. 27.

Tensor decomposition and applications참고 문헌 15인용 수 14

한 줄 요약

이 논문은 임의의 유한 순열군 G ≤ Sₙ에 대해 G-불변 신경망의 보편 근사 능력을 확립한다. 보편성은 일부 군(예: 대칭군 Aₙ)에 대해 고차 텐서가 필요하며, 첫째 차수 텐서만을 사용할 경우 보편성을 달성하기 위해 2-폐쇄성(2-closedness)이 필수 조건임을 규명하여, 불변 네트워크 설계 분야의 핵심 이론적 간극을 해결한다.

ABSTRACT

Constraining linear layers in neural networks to respect symmetry transformations from a group $G$ is a common design principle for invariant networks that has found many applications in machine learning. In this paper, we consider a fundamental question that has received little attention to date: Can these networks approximate any (continuous) invariant function? We tackle the rather general case where $G\leq S_n$ (an arbitrary subgroup of the symmetric group) that acts on $\mathbb{R}^n$ by permuting coordinates. This setting includes several recent popular invariant networks. We present two main results: First, $G$-invariant networks are universal if high-order tensors are allowed. Second, there are groups $G$ for which higher-order tensors are unavoidable for obtaining universality. $G$-invariant networks consisting of only first-order tensors are of special interest due to their practical value. We conclude the paper by proving a necessary condition for the universality of $G$-invariant networks that incorporate only first-order tensors.

연구 동기 및 목표

• 임의의 유한 순열군 G ≤ Sₙ에 대해 G-불변 네트워크가 연속적인 G-불변 함수를 보편적으로 근사할 수 있는지 여부를 규명하는 것.
• G-불변 네트워크에서 보편성 달성을 위해 필요한 최소 텐서 차수를 규명하는 것.
• 첫째 차수 텐서만을 사용할 경우 보편성이 달성 가능한 조건을 규명하는 것.
• 점군, 그래프, 표준 데이터 등에 대한 불변 네트워크의 근사 능력에 관한 열린 질문을 해결하는 것.
• 보편적인 불변 아키텍처 설계를 위한 이론적 기반을 마련하는 것.

제안 방법

• 군 G에 따라 변하는 d ≤ d의 차수를 갖는 텐서 간 선형 등변층을 사용하여 G-불변 네트워크를 구성한다.
• 임의의 연속적인 G-불변 함수가 고차 텐서를 사용하여 근사될 수 있음을 보여주는 구성적 증명을 시행한다.
• 군 G의 궤도 구조를 분석하여 텐서 차수의 하한을 도출하며, Aₙ의 경우 (n−2)/2가 최소 차수임을 증명한다.
• 표현 이론과 텐서 위의 군 작용을 활용하여 등변 및 불변 선형층을 정의한다.
• 군 궤도에서의 불변 함수 값에 기반한 모순 증명을 통해, 비-2-폐쇄 군에서는 첫째 차수 네트워크가 보편적이지 않음을 증명한다.
• 2-폐쇄 군의 개념을 도입하고, 이를 유일하게 G-등변 함수의 존재와 연결한다.

실험 결과

연구 질문

• RQ1 임의의 유한 순열군 G ≤ Sₙ에 대해 G-불변 네트워크가 연속적인 G-불변 함수를 근사할 수 있는가?
• RQ2 G-불변 네트워크에서 보편성 달성을 위해 필요한 최소 텐서 차수는 무엇인가?
• RQ3 어떤 군 G에 대해 첫째 차수 텐서만을 사용하여 보편성이 달성 가능한가?
• RQ4 어떤 군의 구조적 성질이 첫째 차수 G-불변 네트워크의 보편성 실패를 초래하는가?
• RQ5 2-폐쇄성은 유일하게 G-등변 선형 함수의 존재와 보편성에 어떻게 관련되는가?

주요 결과

• 고차 텐서(최대 차수 ≤ n(n−1)/2)를 허용할 경우 G-불변 네트워크는 보편적이다.
• 대칭군 Aₙ의 경우, 최대 차수 (n−2)/2 이하의 텐서를 사용하는 모든 G-불변 네트워크는 보편적이지 않다.
• 첫째 차수 G-불변 네트워크가 보편적이기 위해서는 군 G가 2-폐쇄여야 한다는 필수 조건이 존재한다.
• 무한한 순열군의 가지만(예: PSL_d(F_q), AΓL_d(F_q))이 존재하며, 이들은 2-전이성(2-transitive)이지만 2-폐쇄가 아니므로, 첫째 차수 네트워크에서는 보편적이지 않다.
• 유일하게 G-등변 선형 함수의 존재는 첫째 차수 보편성에 필수적이며, 이는 기존의 파rameter sharing 연구 결과와 연결된다.
• 이 논문은 군 이론적 조건을 규명함으로써, 점군, 그래프, 표준 데이터 등에 대한 여러 실용적 아키텍처의 보편성을 해결한다.