[논문 리뷰] On the Generalization of Equivariance and Convolution in Neural Networks to the Action of Compact Groups

Risi Kondor, Shubhendu Trivedi|arXiv (Cornell University)|2018. 02. 11.

Advanced Graph Neural Networks참고 문헌 20인용 수 215

한 줄 요약

논문은 자연 조건하에서 컴팩트 군 작용에 대한 공변성이 군 연산과 하르 측정에 의해 파생된 일반화된 합성곱을 각 층이 구현하도록 하는 것과 동등하다는 것을 증명하며; 이는 번역을 넘어선 공변성과 합성곱之间의 관계를 엄밀한 프레임워크로 연결한다.

ABSTRACT

Convolutional neural networks have been extremely successful in the image recognition domain because they ensure equivariance to translations. There have been many recent attempts to generalize this framework to other domains, including graphs and data lying on manifolds. In this paper we give a rigorous, theoretical treatment of convolution and equivariance in neural networks with respect to not just translations, but the action of any compact group. Our main result is to prove that (given some natural constraints) convolutional structure is not just a sufficient, but also a necessary condition for equivariance to the action of a compact group. Our exposition makes use of concepts from representation theory and noncommutative harmonic analysis and derives new generalized convolution formulae.

연구 동기 및 목표

• CNN 스타일의 공변성을 번역에서 넘어 일반 컴팩트 군 작용으로 확장하고자 한다.
• 합성곱과 공변성을 통합하는 엄밀하고 표상 이론적인 프레임워크를 제공한다.
• 일반화된 합성곱이 G-공변성을 만족하는 피드포워드 네트워크의 필요충분조건임을 보인다.
• 군과 동형 공간에서의 일반화된 합성곱 공식을 개발하고 제시한다.
• 유클리드 평행이동을 넘어서는 대칭을 갖는 데이터에 대해 동작하는 아키텍처에 대한 시사점을 강조한다.

제안 방법

• 군 연산과 하르 측정을 이용하여 유한 또는 가산 군에서의 일반화된 합성곱을 정의한다.
• 각 층이 일반화된 합성곱을 구현하는 G-공변성 피드포워드 네트워크를 형식화한다.
• quotient 공간에서의 활성화 처리를 다루기 위해 G와 동형 공간 사이의 리프팅과 프로젝션을 사용한다.
• 군에서의 합성곱을 불변 표현(고유 표현들, 하모닉 분석)을 통해 푸리에 공간 표현과 연결한다.
• X = G, Y = G/H; X = G/H, Y = H\backslash G; X = G/H, Y = H\backslash G/K, 및 혼합 경우(이중 코사이드 G/K 포함)에 대한 합성곱의 특수 사례를 도출하여 각 경우에 대응하는 동형 공간에서의 출력을 산출한다.
• 추상 이론을 먼저 제시하고 6장에서 구체적인 예를 제시한다.

실험 결과

연구 질문

• RQ1 피드포워드 네트워크가 컴팩트 군 G의 작용에 공변하려면 어떤 조건이 필요한가?
• RQ2 G로부터 파생된 몫공간/동형 공간에서 함수에 작용하도록 합성곱을 일반화할 수 있는가?
• RQ3 G 또는 그 동형 공간에서 작동하는 네트워크에서 공변성과 일반화된 합성곱 사이의 관계는 무엇인가?
• RQ4 이들 공간에서의 일반화된 합성곱은 푸리에 분석(표현들)에 의해 어떻게 설명되는가?
• RQ5 데이터에 대한 대칭이 유클리드 평행이동을 넘어서는 아키텍처의 실용적 영향은 무엇인가(그래프, 매니폴드 등)?

주요 결과

• 피드포워드 네트워크에서 컴팩트 군 G에 대한 공변성은 각 층이 (1)과 G에 대해 파생된 일반화된 합성곱을 구현하는 것과 동등하다.
• 합성곱은 몫공간과 동형 공간으로 자연스럽게 확장되며, G/H, H\backslash G, 그리고 G/K에서 잘 정의된 연산을 낸다.
• 몫공간의 함수들의 푸리에 변환은 표현이 H 및 K 하에 분해되는 방식에 의해 특정 희소성 패턴을 가진다.
• 세 가지 주요 합성곱 케이스가 분석된다: X = G, Y = G/H; X = G/H, Y = H\backslash G; X = G/H, Y = H\backslash G/K; 각 경우는 대응하는 몫공간에서 출력을 산출한다.
• 몫공간에서의 합성곱은 표현 이론과 연결되어, G-공변 신경망의 분석과 설계 프레임워크를 제공한다.