[논문 리뷰] Permutation-Invariant Variational Autoencoder for Graph-Level Representation Learning

Robin Winter, Frank Noé외 1명|arXiv (Cornell University)|2021. 04. 20.

Advanced Graph Neural Networks인용 수 10

한 줄 요약

이 논문은 입력 그래프와 재구성된 그래프 간의 노드 순서를 유연하게 정렬할 수 있는 미분 가능한 순열 변환 네트워크를 통합한 순열 불변 변분 오토에인드로, 고정된 노드 순서가 필요 없이 그래프 오토에인드의 엔드 투 엔드 학습을 가능하게 한다. 이는 그래프 재구성, 생성, 그리고 하류 분자의 성질 예측 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recently, there has been great success in applying deep neural networks on graph structured data. Most work, however, focuses on either node- or graph-level supervised learning, such as node, link or graph classification or node-level unsupervised learning (e.g. node clustering). Despite its wide range of possible applications, graph-level unsupervised learning has not received much attention yet. This might be mainly attributed to the high representation complexity of graphs, which can be represented by n! equivalent adjacency matrices, where n is the number of nodes. In this work we address this issue by proposing a permutation-invariant variational autoencoder for graph structured data. Our proposed model indirectly learns to match the node ordering of input and output graph, without imposing a particular node ordering or performing expensive graph matching. We demonstrate the effectiveness of our proposed model on various graph reconstruction and generation tasks and evaluate the expressive power of extracted representations for downstream graph-level classification and regression.

연구 동기 및 목표

• 약물 발굴 및 분자 모델링에 널리 적용되지만 여전히 미비하게 다뤄지고 있는 그래프 수준의 비지도 표현 학습 문제를 해결한다.
• 기존 신경망이 입력 표현의 순서 민감성으로 인해 실패하는 그래프 이somorphism 문제를 해결한다.
• 노드 순서의 모호성에도 불구하고 표준 재구성 손실을 사용한 그래프 오토에인드의 학습을 가능하게 하는 유연한 프레임워크를 개발한다.
• 분자 그래프의 연속적이고 순열 불변 잠재 공간을 학습함으로써 효과적인 그래프 생성 및 보간을 가능하게 한다.
• 특히 분자의 성질 예측에 있어, 학습된 표현이 하류의 그래프 수준 분류 및 회귀 작업에 어떻게 유용한지를 입증한다.

제안 방법

• 입력 그래프와 재구성된 그래프의 노드 순서 간 최적의 정렬을 예측하기 위해 학습 가능한 순열 변환 네트워크를 도입함으로써, 노드 순서에 대해 불변인 그래프 오토에인드 아키텍처를 제안한다.
• 재구성 기법을 사용한 변분 오토에인드 프레임워크에 재파arameterization 기법을 적용하여 인코더, 순열 변환 네트워크, 디코더 구성 요소의 엔드 투 엔드 학습을 가능하게 한다.
• 입력 그래프의 노드 순서와 재구성된 그래프의 노드 순서를 정렬하기 위한 순열 행렬을 예측하도록 순열 변환 네트워크를 학습시켜 일관된 재구성 손실 계산을 가능하게 한다.
• 각 노드가 들어오는 메시지만을 참조하도록 하는 방향성 메시지 전달 메커니즘과 자기 주의 메커니즘을 인코더 및 디코더에 도입하여 계산 복잡도를 감소시킨다.
• 다중층 퍼셉트론을 사용한 노드 수준의 메시지 전달 메커니즘을 적용하여 이웃 정보 기반으로 노드 표현을 업데이트한다.
• 최종 노드 임베딩에서 고정 크기의 그래프 수준 표현을 생성하기 위해 최종 글로벌 풀링 레이어를 사용하여 하류의 분류 및 회귀 작업을 가능하게 한다.

실험 결과

연구 질문

• RQ1 대칭 집계나 대조 학습에 의존하지 않고도 딥 러닝 모델이 순열 불변 그래프 수준 표현을 학습할 수 있는가?
• RQ2 노드 순서가 임의적이고 모호한 상황에서 재구성 목적이 노드 순서에 의존하는 그래프 오토에인드는 어떻게 효과적으로 학습할 수 있는가?
• RQ3 학습된 잠재 공간이 구조적 및 특성 유지 능력을 유지하면서도 의미 있는 그래프 생성 및 보간을 어느 정도 지원할 수 있는가?
• RQ4 학습된 표현이 분자 성질 분류 및 회귀와 같은 하류의 그래프 수준 예측 작업에 얼마나 잘 일반화되는가?
• RQ5 모델은 원자 유형, 형식 전하, 간선 유형, 3D 좌표를 포함한 고정밀도로 분자 그래프를 효과적으로 재구성할 수 있는가?

주요 결과

• 형식 전하 유형 예측 정확도가 99.99%, 간선 유형 예측 정확도가 99.25% (간선 존재 여부 포함), 원자 유형 예측 정확도가 99.99%를 기록했다.
• 원자 간 거리 재구성에 대해 루트 평균 제곱 오차(RMSE)는 0.33 Å, 결정 계수(R²)는 0.94를 기록했다.
• 하류 분자의 성질 예측 작업에서 ECFP 피처보다도 더 뛰어난 성능을 보였다. BACE(ROC-AUC: 0.81 vs. 0.78), ESOL(MSE: 0.10 vs. 0.25), LIPO(MSE: 0.34 vs. 0.39)에서 모두 승리했다.
• 잠재 공간 샘플링을 통해 에너적으로 타당한 분자 구형을 성공적으로 생성했으며, 시각적 검토를 통해 로터블 결합의 회전과 같은 구조적 변화가 타당하게 나타났다.
• 제안된 방법은 잠재 공간에서 효과적인 그래프 보간을 가능하게 하여 구조적으로 타당한 중간 분자 형태를 생성했다.
• 대규모 분자 데이터셋(예: PubChem의 6700만 개 화합물 포함)에서 그래프 재구성 및 표현 학습에서 경쟁적인 성능을 보였다.