[논문 리뷰] Deepened Graph Auto-Encoders Help Stabilize and Enhance Link Prediction

Xinxing Wu, Qiang Cheng|arXiv (Cornell University)|2021. 03. 21.

Advanced Graph Neural Networks참고 문헌 39인용 수 6

한 줄 요약

이 논문은 표준 자동에코더(AE)를 그래프 자동에코더(GAE) 아키텍처에 통합하여 링크 예측의 안정성과 성능을 향상시키기 위해 딥ened 그래프 자동에코더(DGAE)를 제안한다. 이는 노드 특징과 그래프 구조를 공동으로 모델링하는 깊이 있는 잔차 학습을 가능하게 하며, 다양한 차수의 다항식 필터를 학습 가능한 잔차 연결을 통해 표현함으로써 여러 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph neural networks have been used for a variety of learning tasks, such as link prediction, node classification, and node clustering. Among them, link prediction is a relatively under-studied graph learning task, with current state-of-the-art models based on one- or two-layer of shallow graph auto-encoder (GAE) architectures. In this paper, we focus on addressing a limitation of current methods for link prediction, which can only use shallow GAEs and variational GAEs, and creating effective methods to deepen (variational) GAE architectures to achieve stable and competitive performance. Our proposed methods innovatively incorporate standard auto-encoders (AEs) into the architectures of GAEs, where standard AEs are leveraged to learn essential, low-dimensional representations via seamlessly integrating the adjacency information and node features, while GAEs further build multi-scaled low-dimensional representations via residual connections to learn a compact overall embedding for link prediction. Empirically, extensive experiments on various benchmarking datasets verify the effectiveness of our methods and demonstrate the competitive performance of our deepened graph models for link prediction. Theoretically, we prove that our deep extensions inclusively express multiple polynomial filters with different orders.

연구 동기 및 목표

• 현재 최신 기술 수준의 링크 예측 모델들이 얕은 GAE에 의존하고 있어 깊이 있는 아키텍처의 이점을 얻지 못하는 한계를 해결하기 위해.
• GAE의 깊이를 증가시킬수록 관찰되는 링크 예측 성능 저하 문제(과도한 스무딩과 일반화 능력 부족과 관련)를 극복하기 위해.
• 이웃 구조와 노드 특징 양측에서 다중 척도 정보를 효과적으로 활용할 수 있는 깊이 있는 GAE 아키텍처를 개발하기 위해.
• 깊이 있는 모델의 표현력을 이론적으로 정당화하기 위해, 다양한 차수의 다항식 필터를 포함할 수 있음을 보여주기 위해.
• 다양한 실제 세계 데이터셋에서 제안된 방법을 경험적으로 검증하여, 얕은 GAE보다 더 뛰어난 안정성과 성능을 입증하기 위해.

제안 방법

• 노드 특징과 인접 행렬의 공동 임bedding에서 저차원의 압축된 표현을 추출하기 위해 GAE의 인코더에 표준 자동에코더(AE)를 통합한다.
• 그래프 구조와 노드 특징의 저품질, 공통 임베딩 표현 간에 잔차 연결을 구축하여 성능 저하 없이 깊이 학습을 가능하게 한다.
• 다양한 차수의 다항식 필터의 효과적인 조합을 학습할 수 있도록 잔차 연결 내에서 학습 가능한 조합 계수를 사용한다.
• 훈련 안정성 향상과 일반화 능력 향상을 위해 스킵 연결에 항등 행렬을 포함시켜 정규화 기법을 적용한다.
• 최대 72층의 깊이 있는 아키텍처를 활용하여 얕은 GAE가 할 수 없는 방식으로 고차수 이웃 의존성을 포착할 수 있다.
• 표준 AE와 그래프 AE를 동시에 최적화하는 공동 최적화 프레임워크를 활용하여 구조적 정보와 특징 정보를 공동으로 임베딩한다.

실험 결과

연구 질문

• RQ1 표준 깊은 GAE에서 관찰되는 성능 저하와는 반대로, 그래프 자동에코더 아키텍처를 깊이 있게 만들면 링크 예측 성능이 안정화되고 향상되는가?
• RQ2 표준 자동에코더를 어떻게 효과적으로 GAE에 통합하여 링크 예측을 위한 표현 학습을 향상시킬 수 있는가?
• RQ3 제안된 깊이 있는 아키텍처가 다양한 차수의 다항식 필터를 표현함으로써 다중 척도의 그래프 정보를 포착하는가?
• RQ4 공통 임베딩된 노드 및 엣지 특징에서 유도된 잔차 연결이 깊은 GAE에서 일반화 능력을 향상시키고 과도한 스무딩을 방지하는가?
• RQ5 제안된 방법은 희소성과 구조가 다양한 실제 세계 그래프 데이터셋에 대해 강건한가?

주요 결과

• 제안된 DGAE 모델은 여러 데이터셋에서 링크 예측 성능이 뛰어나며, AUC와 평균 정밀도(AP) 모두 표준 얕은 GAE를 뛰어넘는 일관된 성능을 기록한다.
• Cora 데이터셋에서 36층 DGAE αβ는 실루엣 스코어 0.169와 NMI 0.482를 기록했으며, 이는 36층 GAE(실루엣: -0.045, NMI: 0.033)보다 뚜렷이 뛰어나다.
• 모델은 72층에 이르러도 링크 예측 성능이 안정되며, 두 층을 넘어서면 표준 GAE에서 관찰되는 AUC 저하 현상을 피한다.
• 이론적 분석을 통해 DGAE 모델이 차수 2에서 k까지의 다항식 필터를 포함적으로 표현할 수 있음을 확인하여, 다중 척도 특징 학습이 가능하다.
• t-SNE를 통한 시각화 결과 DGAE αβ는 표준 GAE보다 더 분리되고 의미 있는 노드 임베딩을 생성함으로써 더 나은 구조적 표현을 나타낸다.
• 표준 AE와 GAE를 공동으로 사용한 임베딩은 별도로 사용할 경우보다 더 효과적인 저랭크 부분공간 학습을 가능하게 한다.