[논문 리뷰] Universal Equivariant Multilayer Perceptrons

Siamak Ravanbakhsh|arXiv (Cornell University)|2020. 02. 07.

Topological and Geometric Data Analysis참고 문헌 38인용 수 12

한 줄 요약

이 논문은 유한군에 대한 등변 다층 퍼셉트론(Multilayer Perceptrons, MLPs)의 보편성을 증명하여, 정규 군 작용을 갖는 단일 은닉층이 보편 등변성(및 불변성)을 확보하는 데 충분하다고 밝힌다. 주요 기여는 보어사이드의 마크 표를 활용한 군론적 프레임워크를 통해 보편성에 필요한 최소 은닉층 차수에 대한 날카운 bounds를 유도한 것으로, 치환군에 대한 이전 결과보다 크게 향상되었으며, 은닉층의 차수가 $N$인 등변 그래프 네트워크가 보편적임을 보여준다.

ABSTRACT

Group invariant and equivariant Multilayer Perceptrons (MLP), also known as Equivariant Networks, have achieved remarkable success in learning on a variety of data structures, such as sequences, images, sets, and graphs. Using tools from group theory, this paper proves the universality of a broad class of equivariant MLPs with a single hidden layer. In particular, it is shown that having a hidden layer on which the group acts regularly is sufficient for universal equivariance (invariance). A corollary is unconditional universality of equivariant MLPs for Abelian groups, such as CNNs with a single hidden layer. A second corollary is the universality of equivariant MLPs with a high-order hidden layer, where we give both group-agnostic bounds and means for calculating group-specific bounds on the order of hidden layer that guarantees universal equivariance (invariance).

연구 동기 및 목표

• 유한군 작용 하에서 등변성 및 불변성에 대한 다층 퍼셉트론의 보편 근사 정리를 수립하기 위해.
• 특히 치환군과 아벨 군에 대해 보편 등변성을 달성하기 위해 필요한 최소 깊이(은닉층 차수)를 규명하기 위해.
• 표현 이론과 보어사이드의 마크 표를 활용해 군에 종속적이지 않은 및 군에 특화된 은닉층 차수에 대한 bounds를 제공하기 위해.
• 고차 불변 네트워크 및 등변 그래프 네트워크에 대한 이전의 보편성 결과를 통합하고 확장하기 위해.
• 단일 정규 은닉층이 보편 등변성을 확보하는 데 충분하며, 이는 CNN 및 그래프 네트워크에의 응용을 포함한다.

제안 방법

• 치환군을 통한 입력 및 출력 집합에 대한 작용을 정의함으로써 MLP 내 등변성과 불변성을 군 작용 호모모르피즘을 통해 기술한다.
• 제품 공간의 군 작용 분해 및 정규 궤도 식별을 위해 보어사이드의 마크 표를 적용한다.
• 반복적인 제품 작용에서 감소하는 안정자 부분군의 시퀀스를 분석하기 위해 안정자 부분군의 코어를 활용한다.
• 보편 등변성에 대해 $ D \geq \log_2 |\mathcal{H}| $ 라는 bound를 도출하며, 여기서 $ \mathcal{H} $는 입력 작용의 안정자이다.
• 마크 벡터의 단사성을 활용하여 표의 대수적 연산을 제품 공간 내 궤도 분해와 동치로 간주한다.
• 정규 작용 및 궤도 분해에 관한 정리들을 적용하여 단일 정규 은닉층이 보편 근사를 보장함을 증명한다.

실험 결과

연구 질문

• RQ1 임의의 유한군에 대해 정규 군 작용을 갖는 단일 은닉층이 보편 등변성을 보장할 수 있는가?
• RQ2 주어진 군에 대해 보편 등변성 또는 불변성을 달성하기 위해 필요한 고차 은닉층의 최소 차수는 무엇인가?
• RQ3 군에 특화된 안정자 구조는 등변 MLP에서 보편 근사에 필요한 깊이 요구 조건에 어떻게 영향을 미치는가?
• RQ4 마크 표를 활용해 치환군에 대해 이전 결과보다 더 날카운 bounds를 도출할 수 있는가?
• RQ5 은닉층의 차수가 $ N $일 때 등변 그래프 네트워크는 보편적인가? 이는 이전의 bounds와 어떻게 비교되는가?

주요 결과

• 등변 MLP에서 정규 군 작용을 갖는 단일 은닉층이 보편 등변성(및 불변성)을 확보하는 데 충분하다.
• 아벨 군, 특히 이중층 CNN의 경우 보편 근사는 조건 없이 보장되며, 정규 은닉층에 의해 보장된다.
• 보편 등변성에 필요한 최소 은닉층 차수는 $ D \geq \log_2 |\mathcal{H}| $ 로 bound되며, 여기서 $ \mathcal{H} $는 입력 작용의 안정자이다.
• 대칭군 $ \mathcal{A}_5 $의 경우 은닉층의 차수 $ D=3 $ 이면 정규 궤도를 생성할 수 있으며, 일반적인 bound인 $ D \geq 5 $ 보다 향상된 결과를 얻는다.
• $ \frac{1}{2}N(N-1) $ 의 이전 bound 보다 $ D \geq \log_2 |\mathcal{H}| $ 의 bound 가 큰 $ N $ 에서 특히 향상되며, 전체 대칭군 $ S_N $ 에서의 보편 불변성에 대해 개선된다.
• 은닉층의 차수가 $ N $ 인 등변 (하이퍼)그래프 네트워크는 마크 표를 활용한 분해를 통해 보편적임을 확인하였다.