[논문 리뷰] Invariant and Equivariant Graph Networks

Haggai Maron, Heli Ben-Hamu외 2명|arXiv (Cornell University)|2018. 12. 24.

Advanced Graph Neural Networks인용 수 113

한 줄 요약

이 논문은 (하이퍼-)그래프 데이터에 대한 순열 불변 및 등가 선형 계층의 완전한 특성을 제시하며, Bell-number-based 기저 함수들을 제공하고 메시지 전달 네트워크에 비해 보편 근사력을 실증한다.

ABSTRACT

Invariant and equivariant networks have been successfully used for learning images, sets, point clouds, and graphs. A basic challenge in developing such networks is finding the maximal collection of invariant and equivariant linear layers. Although this question is answered for the first three examples (for popular transformations, at-least), a full characterization of invariant and equivariant linear layers for graphs is not known. In this paper we provide a characterization of all permutation invariant and equivariant linear layers for (hyper-)graph data, and show that their dimension, in case of edge-value graph data, is 2 and 15, respectively. More generally, for graph data defined on k-tuples of nodes, the dimension is the k-th and 2k-th Bell numbers. Orthogonal bases for the layers are computed, including generalization to multi-graph data. The constant number of basis elements and their characteristics allow successfully applying the networks to different size graphs. From the theoretical point of view, our results generalize and unify recent advancement in equivariant deep learning. In particular, we show that our model is capable of approximating any message passing neural network Applying these new linear layers in a simple deep neural network framework is shown to achieve comparable results to state-of-the-art and to have better expressivity than previous invariant and equivariant bases.

연구 동기 및 목표

• 대칭성 고려(순열 불변성/등가성)에 따라 그래프/하이퍼그래프 학습을 자극한다.
• 텐서로 인코딩된 그래프 데이터에 대한 불변/등가 선형 계층의 전체 공간을 특성화한다.
• 계산 가능한 직교 기저를 제공하고 기저의 최대성 및 크기 독립성(n)을 보인다.
• 모델이 임의의 메시지 전달 신경망을 근사할 수 있음을 시범하고 그래프 작업에서 경쟁력 있게 수행함을 보인다.

제안 방법

• 순열 불변성에 대한 고정점 방정식(L vec(A)가 P^{⊗k}에 대해 고정되고) 및 등가성에 대한 고정점 방정식을 도출한다.
• 지수 패턴의 등식 분할을 사용하여 해 공간을 특성화하고, 결과적으로 Bell-number 크기의 기저 B^{γ}를 얻는다.
• 해 공간을 포괄하도록 명시적 불변/등가 기저 텐서 B^{γ}와 C^{λ}(및 그 다중집합/일반화 형태)을 구성하여 해 공간을 표현한다.
• 바이어스가 있는 계층 및 특징 벡터를 포함하는 계층으로 확장하여 명시적 매개변수 수와 기저 형태를 도출한다(정리 2).
• 다중 집합 노드 파티션 및 혼합 차원의 텐서에 일반화하여 불변은 차원 ∏ b(k_i), 등가는 차원 ∏ b(k_i+l_i)로 얻어진다.
• 모델이 임의의 메시지 전달 신경망을 근사할 수 있음을 보여주어 보편성 universality를 논증한다.

실험 결과

연구 질문

• RQ1 그래프/하이퍼-그래프 데이터에 대한 순열 불변/등가 선형 계층의 최대 차원은 어느 정도인가?
• RQ2 그래프 크기 n에 독립적으로 모든 불변/등가 선형 계층을 포괄하는 직교 기저를 구성할 수 있는가?
• RQ3 불변/등가 계층이 기존 그래프 네트워크의 표현력(메시지 전달 모델 포함)을 흡수하거나 일치하는가?
• RQ4 바이어스 및 노드 특징이 불변/등가 선형 계층 프레임워크에 어떻게 통합되는가?
• RQ5 제안된 기저가 다중-노드 집합 및 혼합 차원 텐서에 일반화되면서 크기 독립성을 유지하는가?

주요 결과

• 불변 선형 계층의 공간 R^{n^k} -> R의 차원은 b(k) (k의 Bell 수)이다.
• 등가 선형 계층의 공간 R^{n^k} -> R^{n^k}의 차원은 b(2k)이다.
• 에지 값 그래프(k=2)의 경우 불변 계층의 차원은 2, 등가 계층의 차원은 15로 n에 독립적이다.
• 해 공간을 포괄하기 위한 명시적 직교 기저 B^{γ}와 C^{λ}(및 그 바이어스 변형)을 제공한다.
• 다중 그래프/다중 집합 시나리오 및 혼합 차원의 맵에 대해 차원은 ∏ b(k_i) 및 ∏ b(k_i+l_i)로 확장된다.
• 부록 결과는 모델이 임의의 메시지 전달 신경망을 근사할 수 있음을 나타내며, 이 불변/등가 선형-계층 패러다임 내에서 보편 근사 능력을 확립한다.