[논문 리뷰] Covariant Compositional Networks For Learning Graphs

Risi Kondor, Hy Truong Son외 3명|arXiv (Cornell University)|2018. 01. 07.

Advanced Graph Neural Networks참고 문헌 39인용 수 88

한 줄 요약

본 논문은 그래프를 위한 Covariant Compositional Networks(CCNs)을 도입하여 순열에 대한 공변성을 텐서 표현으로 강제함으로써 표현력을 높이고, 기존의 불변 메시지 전달 신경망보다 향상될 것을 제시한다.

ABSTRACT

Most existing neural networks for learning graphs address permutation invariance by conceiving of the network as a message passing scheme, where each node sums the feature vectors coming from its neighbors. We argue that this imposes a limitation on their representation power, and instead propose a new general architecture for representing objects consisting of a hierarchy of parts, which we call Covariant Compositional Networks (CCNs). Here, covariance means that the activation of each neuron must transform in a specific way under permutations, similarly to steerability in CNNs. We achieve covariance by making each activation transform according to a tensor representation of the permutation group, and derive the corresponding tensor aggregation rules that each neuron must implement. Experiments show that CCNs can outperform competing methods on standard graph learning benchmarks.

연구 동기 및 목표

• 그래프를 위한 불변 메시지 전달 신경망(MPNN)의 한계를 동기 부여하고 형식화한다.
• 순열 군의 텐서 표현을 통해 순열 공변성을 존중하는 공변 합성 네트워크(comp-nets)를 제안한다.
• 일반적인 comp-net 프레임워크를 개발하고 표준 그래프 신경 모델이 특수한 경우임을 보인다.
• 그래프 계층 전반에서 공변성을 보존하는 텐서 집계 규칙을 도출한다.
• 표준 그래프 벤치마크에서 스칼라 MPNNs에 비해 실증적 개선을 보여준다.

제안 방법

• 구성 네트워크(comp-nets)를 원자에 해당하는 부분과 계층적 표현을 위한 수용 영역을 가진 DAG로 정의한다.
• 정점 표기에 의존하지 않도록 표현이 항상 순열 불변성과 공변성 원리를 도입한다.
• 표준 MPNN이 comp-net의 특수한 경우임을 보이고 표현력의 한계를 논의한다.
• 활성화가 순열군의 텐서 표현에 따라 변환되는 공변 comp-nets를 도입한다(일차, 이차, 삼차 공변량 등).
• 공변성을 유지하기 위해 텐서 수축을 사용한 집계 규칙을 도출한다(예: 일차에 Pπ, 이차에 Pπ ⊗ Pπ).
• 레이어를 수용 영역과 연관시키고 정의된 표현에 따라 수용 영역의 순열 하에서 f_i(또는 F_i)가 어떻게 변환되는지 정의한다.

실험 결과

연구 질문

• RQ1 현재 그래프 학습 방법이 정점 순열에 대한 불변성 설계로 인해 표현력에 어떤 한계를 가하는가?
• RQ2 순열에 대한 단순 불변성보다 공변성을 강제하여 그래프 표현을 향상시킬 수 있는가?
• RQ3 그래프용 comp-nets에서 공변 활성화를 구현하기 위한 적절한 텐서 기반 프레임워크는 무엇인가?
• RQ4 공변 comp-nets가 기존 메시지 전달 신경망과 어떤 관계를 가지며 이를 어떻게 일반화하는가?
• RQ5 표준 그래프 벤치마크에서 CCNs의 실제적 시사점과 잠재적 성능 향상은 무엇인가?

주요 결과

• CCNs는 텐서 활성화를 통해 그래프 표현에 순열 공변성을 체계적으로 도입하는 방법을 제공한다.
• 표준 MPNN은 comp-net 프레임워크 내의 특수한 경우로 복원된다.
• 공변 활성화는 순열 그룹 아래에서 일차, 이차 및 고차 텐서 표현으로 구성될 수 있다.
• 집계 규칙은 고차 텐서를 순열 표현과 수축하는 것에 해당한다.
• 실험 결과 CCNs가 표준 그래프 학습 벤치마크에서 스칼라 MPNNs를 능가할 수 있음을 보여준다.