[논문 리뷰] Equivariance Through Parameter-Sharing

Siamak Ravanbakhsh, Jeff Schneider외 1명|arXiv (Cornell University)|2017. 02. 27.

Gaussian Processes and Bayesian Inference참고 문헌 23인용 수 106

한 줄 요약

이 논문은 이산 그룹 작용에 대한 신경망 층의 등변성을, 원하는 대칭과 일치하는 자동구조(automorphism) 그룹을 가진 색상화된 이분 그래프를 통해 매개변수 공유를 설계함으로써 달성할 수 있음을 보인다.

ABSTRACT

We propose to study equivariance in deep neural networks through parameter symmetries. In particular, given a group $\mathcal{G}$ that acts discretely on the input and output of a standard neural network layer $ϕ_{W}: \Re^{M} o \Re^{N}$, we show that $ϕ_{W}$ is equivariant with respect to $\mathcal{G}$-action iff $\mathcal{G}$ explains the symmetries of the network parameters $W$. Inspired by this observation, we then propose two parameter-sharing schemes to induce the desirable symmetry on $W$. Our procedures for tying the parameters achieve $\mathcal{G}$-equivariance and, under some conditions on the action of $\mathcal{G}$, they guarantee sensitivity to all other permutation groups outside $\mathcal{G}$.

연구 동기 및 목표

• 데이터 증강만으로가 아니라 매개변수 공유를 통해 신경망에서 도메인 대칭성을 인코딩하는 것을 동기화한다.
• 네트워크 매개변수 대칭성과 집합 작용에 대한 등변성 간의 연결 고리를 형식화한다.
• G-등가성을 유도하는 매개변수 공유를 위한 두 가지 방식(밀집 및 희소)을 제안한다.
• 신경망 층에서 고유한 G-등가성이 보장되는 조건을 제시한다.

제안 방법

• 같은 색으로 표시된 간선이 매개변수를 공유하는 컬러링된 다중 간선 이분 그래프 Omega로 신경망 층을 표현한다.
• 에지 색상(매개변수)이 서로 다를 때 층 phi(x; w, Omega)가 고유하게 Aut(Omega)-등변성을 갖는다는 것을 보이고, 그래프 자동성(Aut(Omega))과 등변성 사이의 연결고리를 확립한다.
• G_N,M-오빗으로 간선들을 묶는 Omega를 가진 밀집 설계를 제공하여 G_N,M-등가성을 보장한다.
• G_N,M를 포함하도록 Aut(Omega)를 달성하기 위해 오빗과 대칭 생성 집합 A를 사용하는 희소 설계를 도입하고, 준정규 작용하에서 Aut(Omega) = G_N,M 이 되는 등식을 달성한다.
• 다중 입력/출력으로 확장하고 심층 네트워크를 위한 층의 구성(composition)을 논의한다.

실험 결과

연구 질문

• RQ1 입력 및 출력 인덱스에 대한 이산 그룹 작용이 신경망 층의 매개변수 공유 구조에 정확하게 캡처될 수 있는가?
• RQ2 고유한 G-등변성을 보장하는 공유 매개변수 그래프에 대한 충분한 조건은 무엇인가?
• RQ3 주어진 그룹 작용을 실현하기 위해 밀집 및 희소 매개변수 공유 설계는 어떻게 구성될 수 있는가?
• RQ4 이러한 설계가 다중 채널 층과 심층 구조로 어떻게 확장되는가?

주요 결과

• 컬러드 이분 그래프 Omega는 매개변수 공유를 인코딩할 수 있어 신경망 층이 Aut(Omega)에게 고유하게 등변성을 갖는다.
• 정리: Aut(Omega)의 임의의 부분군 H는 H-등변성을 갖게 하여 대칭성을 제어 가능한 보장을 제공한다.
• 밀집 설계는 G_N,M 작용을 간선-오빗 색상에 연결하여 전체 그룹에 대한 등변성을 보장하지만 항상 고유하지는 않다.
• 희소 설계는 오빗과 대칭 생성 집합을 사용하여 Aut(Omega)가 G_N,M를 포함하게 하고, 준정규성 하에서 Aut(Omega) = G_N,M 이 되어 고유한 등변성을 더 적은 매개변수로 가능하게 한다.
• 이 프레임워크는 그룹 컨볼루션, 순열-등변 층, 집합 기반 아키텍처와 같은 특별 사례를 매개변수 공유 접근 방식의 예로 포괄한다.