[논문 리뷰] The general theory of permutation equivarant neural networks and higher order graph variational encoders

Erik H. Thiede, Truong Son Hy외 1명|arXiv (Cornell University)|2020. 04. 08.

Advanced Graph Neural Networks참고 문헌 39인용 수 4

한 줄 요약

이 논문은 고차원 상호작용을 위한 순열-등변 신경망의 일반 이론을 개발하며, 행과 열을 동시에 순열화하는 두 번째 차수의 등변 레이어를 도입한다. 이는 그래프 및 관계 학습에 핵심적이다. 저자들은 ZINC 분자 생성에서 98.4%의 재구성 정확도를 달성하는 두 번째 차수의 그래프 변동형 오토인코더를 제안하며, 명시적인 화학 사전 지식이 없는 상태에서 기존 방법들을 능가하고, 이러한 모델의 잠재 분포가 교환 가능해야 한다는 것을 입증한다.

ABSTRACT

Previous work on symmetric group equivariant neural networks generally only considered the case where the group acts by permuting the elements of a single vector. In this paper we derive formulae for general permutation equivariant layers, including the case where the layer acts on matrices by permuting their rows and columns simultaneously. This case arises naturally in graph learning and relation learning applications. As a specific case of higher order permutation equivariant networks, we present a second order graph variational encoder, and show that the latent distribution of equivariant generative models must be exchangeable. We demonstrate the efficacy of this architecture on the tasks of link prediction in citation graphs and molecular graph generation.

연구 동기 및 목표

• 벡터 요소의 순열(첫 번째 차수 작용)을 넘어서, 행렬의 동시에 행과 열을 순열화하는 등의 고차원 작용으로 순열-등변 신경망 이론을 확장하는 것.
• 특히 그래프 표현 학습에서 나타나는 두 번째 차수 작용에 대해 고려할 수 있는 고차원 등변 레이어의 구조와 매개변수화를 체계화하는 것.
• 인접 행렬의 동시에 행과 열의 순열에 대해 등변성을 유지하는 두 번째 차수의 그래프 변동형 오토인코더(VAE)를 개발하여 유효한 분자 그래프를 생성하는 것.
• 순열-등변 생성 모델과 베이지안 비모수 통계에서의 교환 가능 분포 간의 관계를 탐구하는 것.
• 링크 예측 및 분자 그래프 생성과 같은 과제에서 아키텍처의 실증적 검증을 통해 성능 향상을 입증하는 것. 이는 명시적인 화학 지식이 없음에도 불구하고 성능 향상을 이룬다.

제안 방법

• 임의의 대칭군 작용 하에서 텐서에 작용하는 순열-등변 선형 레이어에 대한 일반 공식을 유도하며, 행렬에 대한 두 번째 차수 작용을 포함한다.
• 대칭군의 표현 이론을 적용하여 등변 레이어를 분류하고 각 레이어의 학습 가능한 매개변수 수를 결정한다.
• 에ncoder와 디코더가 인접 행렬의 동시에 행과 열의 순열에 대해 등변성을 유지하는 두 번째 차수의 그래프 변동형 오토인코더를 구성한다.
• 잠재 공간이 교환 가능하지만 반드시 i.i.d.는 아닐 수 있도록 변동형 추론 프레임워크를 사용하여 생성 과정의 대칭성을 보장한다.
• 이산 결합 특징의 연속적 근사화를 활용하여 잠재 공간에서 분자를 미분 가능하게 생성한다.
• VAE 목표 함수를 사용해 모델을 훈련하며, KLD 항을 비활성화했을 때 성능 향상이 나타나는 아블레이션 실험을 수행한다.

실험 결과

연구 질문

• RQ1 순열-등변 신경망을 첫 번째 차수 작용(벡터 요소의 순열)을 넘어서, 예를 들어 행렬의 동시에 행과 열의 순열화와 같은 고차원 작용으로 일반화할 수 있는가?
• RQ2 두 번째 차수의 대칭군 작용 하에서 등변 레이어의 수학적 구조는 어떠한가? 그리고 그 레이어에 몇 개의 학습 가능한 매개변수가 있는가?
• RQ3 두 번째 차수의 순열-등변 그래프 변동형 오토인코더는 명시적인 화학 사전 지식이나 규칙 기반 제약 없이 유효한 분자 그래프를 생성할 수 있는가?
• RQ4 순열 등변성은 생성 모델의 잠재 분포에 어떤 제약을 끼치며, 이는 교환 가능성과 어떻게 관련이 있는가?
• RQ5 고차원 등변성은 링크 예측 및 분자 생성과 같은 그래프 표현 학습 과제에서 성능 향상에 기여하는가?

주요 결과

• 제안된 두 번째 차수의 그래프 변동형 오토인코더는 ZINC 분자 생성 벤치마크에서 98.4%의 재구성 정확도를 달성하며, CVAE(44.6%)와 GVAE(53.7%)와 같은 기존 방법들을 크게 능가한다.
• 화학 지식(예: 결합 valency 규칙 또는 기능기 제약)을 명시적으로 갖추지 않았음에도 불구하고, 사전에서 33.4%의 유효한 분자를 생성하며, SD-VAE(43.5%)와 GraphVAE(13.5%)를 초월한다.
• 모델은 합리적인 탄소 프레임워크와 결합 패턴을 생성하지만, 작은 분자와 4원환과 같은 산성 둥글림을 포함한 고립된 고리 시스템에 편향을 보인다.
• VAE 손실에서 KLD 항을 비활성화했을 때 재구성 정확도가 향상되었으며, 이는 후행 분포의 인도적 편향이 KLD 정규화 없이 더 잘 유지된다는 것을 시사한다.
• 모델의 잠재 공간은 교환 가능하며, 순열-등변 생성 모델과 베이지안 비모수 통계에서의 교환 가능 수열 간 이론적 연결을 확인한다.
• 결과적으로 고차원 등변성은 명시적인 화학 규칙 없이도 데이터로부터 복잡한 구조 패턴(예: 고리 형성)을 직접 학습할 수 있음을 보여준다.