[논문 리뷰] RWR-GAE: Random Walk Regularization for Graph Auto Encoders

Vaibhav, Po-Yao Huang외 1명|arXiv (Cornell University)|2019. 08. 12.

Advanced Graph Neural Networks참고 문헌 19인용 수 26

한 줄 요약

이 논문은 국소적 구조 인식과 더 나은 잠재 분포 제어를 위해 랜덤 워크 정규화를 도입한 그래프 오토에인코더인 RWR-GAE를 제안한다. 랜덤 워크 기반의 스위프-그램 스타일 목적함수를 추가함으로써, Cora, Citeseer, PubMed 데이터셋에서 비지도 노드 클러스터링에서 최고 성능(최대 7.5% 향상)을 달성하고, 링크 예측 과제도 경쟁적인 결과를 얻는다.

ABSTRACT

Node embeddings have become an ubiquitous technique for representing graph data in a low dimensional space. Graph autoencoders, as one of the widely adapted deep models, have been proposed to learn graph embeddings in an unsupervised way by minimizing the reconstruction error for the graph data. However, its reconstruction loss ignores the distribution of the latent representation, and thus leading to inferior embeddings. To mitigate this problem, we propose a random walk based method to regularize the representations learnt by the encoder. We show that the proposed novel enhancement beats the existing state-of-the-art models by a large margin (upto 7.5\%) for node clustering task, and achieves state-of-the-art accuracy on the link prediction task for three standard datasets, cora, citeseer and pubmed. Code available at https://github.com/MysteryVaibhav/DW-GAE.

연구 동기 및 목표

• 표준 그래프 오토에인코더가 잠재 표현 분포를 忽시하고 국소적 구조를 포착하지 못하는 한계를 해결하기 위해.
• 더 균일하고 정보가 풍부한 클러스터 내 임베딩을 강제함으로써 비지도 노드 클러스터링 성능을 향상시키기 위해.
• 재구성 손실 외에 랜덤 워크를 통한 컨텍스트 예측을 통합함으로써 더 강력한 학습 신호를 제공하기 위해.
• 가우시안 사전 확률에 의존하지 않고도 자연스럽게 그래프 구조를 인코딩할 수 있는 정규화 방법을 개발하기 위해.
• 표준 벤치마크를 활용해 클러스터링 및 링크 예측 과제 모두에 대해 모델을 평가하기 위해.

제안 방법

• 각 노드 임베딩이 워크 내에서 이웃 노드를 예측하도록 유도하는 랜덤 워크 기반 정규화 목적함수를 도입한다.
• 표준 그래프 오토에인코더의 재구성 손실과 랜덤 워크 시퀀스에 대한 스위프-그램 스타일 목적함수를 결합한다.
• 워크 내 각 노드가 그의 임베딩과 이웃 노드의 임베딩을 기반으로 예측되는 윈도우 기반 컨텍스트 예측 작업을 사용한다.
• 대규모 그래프에 대응하기 위해 훈련 중에 랜덤 워크의 미니배치를 사용하여 확률적 최적화를 적용한다.
• 스위프-그램 목적함수를 활용해 잠재 공간을 정규화함으로써, 임베딩이 국소 네트워크 구조를 더 잘 반영하도록 한다.
• 재구성 오차와 컨텍스트 예측 손실을 동시에 최소화하는 공동 훈련 목적함수를 활용한다.

실험 결과

연구 질문

• RQ1 랜덤 워크 기반 정규화는 그래프 오토에인코더가 학습하는 노드 임베딩의 품질을 향상시키는가?
• RQ2 랜덤 워크를 통한 컨텍스트 예측을 강제하면 클러스터 내 분포가 더 우아하고 클러스터 내 거리가 감소하는가?
• RQ3 표준 논문 인용 네트워크에서 RWR-GAE는 최고 수준의 비지도 노드 클러스터링 성능을 달성하는가?
• RQ4 제안된 방법은 클러스터링 성능 향상과 함께 링크 예측 과제도 경쟁적인 성능을 달성하는가?
• RQ5 워크 길이 및 윈도우 크기와 같은 하이퍼파rameter의 모델 성능에 미치는 영향은 무엇인가?

주요 결과

• Citeseer 데이터셋에서 RWR-GAE는 적대적 정규화 오토에인코더보다 클러스터링 정확도를 7.5% 향상시켰다.
• PubMed에서 RWR-GAE는 표준 GAE 대비 조정된 랜드 지수(ARI)를 18.3% 향상시키고, 정규화된 상호정보량(NMI)을 7.5% 향상시켰다.
• Cora에서 이 방법은 변분 그래프 오토에인코더 대비 클러스터링 정확도를 12.4% 향상시켰다.
• 모델은 클러스터 내 거리를 GAE의 0.99에서 0.64로 감소시켜, 클러스터 내에서 더 균일하고 균일하게 분포된 임베딩을 나타낸다.
• RWR-GAE는 더 빠른 수렴을 보이며, 표준 GAE가 200 에포크에서 정점에 도달하는 데 비해 약 100 에포크 만에 최고 성능에 도달한다.
• 스토캐스틱 워크 샘플링으로 인한 점수의 높은 변동성에도 불구하고, 모든 데이터셋에서 강력하고 일관된 성능을 유지한다.