[논문 리뷰] Probabilistic symmetries and invariant neural networks

Benjamin Bloem-Reddy, Yee Whye Teh|arXiv (Cornell University)|2019. 01. 18.

Neural Networks and Applications참고 문헌 109인용 수 52

한 줄 요약

본 논문은 기능적 대칭성과 확률적 대칭성을 연결하는 확률적 프레임워크를 제시하여, 콤팩트 군 하에서 불변 및 등변 신경망에 대한 정확한 표현을 도출하고, 시퀀스, 배열 및 그래프에 대해 대칭 모델을 구성하는 일반적인 프로그램을 제공한다.

ABSTRACT

Treating neural network inputs and outputs as random variables, we characterize the structure of neural networks that can be used to model data that are invariant or equivariant under the action of a compact group. Much recent research has been devoted to encoding invariance under symmetry transformations into neural network architectures, in an effort to improve the performance of deep neural networks in data-scarce, non-i.i.d., or unsupervised settings. By considering group invariance from the perspective of probabilistic symmetry, we establish a link between functional and probabilistic symmetry, and obtain generative functional representations of probability distributions that are invariant or equivariant under the action of a compact group. Our representations completely characterize the structure of neural networks that can be used to model such distributions and yield a general program for constructing invariant stochastic or deterministic neural networks. We demonstrate that examples from the recent literature are special cases, and develop the details of the general program for exchangeable sequences and arrays.

연구 동기 및 목표

• 그룹 작용 아래에서의 대칭성(불변성 또는 등변성)을 존중하는 신경망 구조를 동기 부여하고 형식화한다.
• 함수적 대칭(결정적 매핑)과 확률적 대칭(조건 분포) 간의 연계를 제시한다.
• 네트워크 설계를 안내하기 위한 불변/등변 조건분포의 기능적 표현을 제공한다.
• 시퀀스, 배열, 그래프에 적용 가능한 대칭적 확률적 또는 결정적 네트워크를 위한 일반적 구성 프로그램을 개발한다.

제안 방법

• 함수적 대칭성(함수의 불변성/등변성)과 확률적 대칭성(조건 분포의 불변성/등변성)을 정의하고 연관시킨다.
• X와 독립적인 η를 이용해 불변 또는 등변 조건분류를 구현하는 노이즈 외부화된 함수 표현 Y = f(η, X)을 도입한다.
• 최대 불변량 M(X)과 표현 (X, Y) a.s. = (X, f(η, M(X)))를 통해 불변 조건분포를 특징짓는다.
• g에 대해 모든 g ∈ G에 대해 f가 만족하는 g·Y = f(η, g·X)인 함수로 표현된 (X, Y) a.s. = (X, f(η, X)) 형태의 등변 조건분포를 특징짓는다.
• 교환가능한 시퀀스/배열/그래프에 특수화하고 실제 형태(예: 경험적 측정, 표준 CX, 대표 등변성)로 정형화한다.
• 대칭 신경망 구성에 관한 실용적 고려사항과 확률성 및 함수 클래스 선택의 역할을 논의한다.

실험 결과

연구 질문

• RQ1 Y|X가 그룹 작용 G에 대해 불변 또는 등변이 되도록 하는 필요한 충분한 확률적 조건은 무엇인가?
• RQ2 불변/등변 조건분포를 기능적으로 표현하는 방법, 노이즈 외부화 형태를 포함하여?
• RQ3 최대 불변량과 충분성 개념이 대칭성을 존중하는 실용적 신경망 구조를 어떻게 가능하게 하는가?
• RQ4 교환가능한 시퀀스, 배열, 그래프에 프레임워크를 특수화해 구체적 네트워크 설계를 얻을 수 있는가?
• RQ5 대칭 아키텍처에서 함수 클래스 선택 및 확률성 도입에 대한 가이드라인은 무엇인가?

주요 결과

• 교환가능한 입력에 대해 불변 조건분포는 η가 X와 독립인 야 Y = f(η, MX) 형태의 노이즈 외부화 기능 표현을 허용한다.
• 교환가능한 입력에 대한 등변 조건분포는 MX의 함수와 η의 조합을 통해 순번화 구조를 보존하는 표현을 허용하고, f에 대한 적절한 대칭 제약이 존재한다.
• 일반적인 콤팩트 군에 대해 불변 및 등변 조건분포는 최대 불변량 M(X)와 대표 등변체를 통해 표현될 수 있어 체계적인 신경망 구성 가능성을 제공한다.
• 경험적 측정치 및 표준 형태가 순열 하에서 모든 관련 정보를 포착하는 최대 불변량으로 중심적 역할을 한다.
• 교환가능한 행렬, 그래프 및 고차원 배열에 프레임워크를 확장하여 유사한 표준 표현(CANON, CX)과 방송된 특징을 통해 대칭을 달성한다.
• 이 방법은 기존의 불변 구조를 특수한 경우로 포함하는 통합적이고 확률적 관점을 제공하며 대칭 네트워크 설계를 위한 일반적 프로그램을 제시한다.