[논문 리뷰] Watch Your Step: Learning Graph Embeddings Through Attention.

Sami Abu-El-Haija, Bryan Perozzi외 2명|arXiv (Cornell University)|2017. 10. 26.

Advanced Graph Neural Networks참고 문헌 26인용 수 21

한 줄 요약

이 논문은 전이 행렬의 거듭제곱 급수를 통해 역전파하면서 그래프 임베딩을 위한 최적의 무작위 보행 초항수를 학습하는 미분 가능한 어텐션 메커니즘을 제안한다. 다양한 실세계 그래프에서 링크 예측 성능을 20–45% 향상시키며, 학습된 매개변수는 수동으로 최적화된 값과 일치한다.

ABSTRACT

Graph embedding methods represent nodes in a continuous vector space, preserving information from the graph (e.g. by sampling random walks). There are many hyper-parameters to these methods (such as random walk length) which have to be manually tuned for every graph. In this paper, we replace random walk hyper-parameters with trainable parameters that we automatically learn via backpropagation. In particular, we learn a novel attention model on the power series of the transition matrix, which guides the random walk to optimize an upstream objective. Unlike previous approaches to attention models, the method that we propose utilizes attention parameters exclusively on the data (e.g. on the random walk), and not used by the model for inference. We experiment on link prediction tasks, as we aim to produce embeddings that best-preserve the graph structure, generalizing to unseen information. We improve state-of-the-art on a comprehensive suite of real world datasets including social, collaboration, and biological networks. Adding attention to random walks can reduce the error by 20% to 45% on datasets we attempted. Further, our learned attention parameters are different for every graph, and our automatically-found values agree with the optimal choice of hyper-parameter if we manually tune existing methods.

연구 동기 및 목표

• 그래프 임베딩 방법에서 수동적인 초항수 조정을 제거하기 위해 최적의 무작위 보행 매개변수를 학습하는 것.
• 미리 보지 못한 링크에 대한 일반화를 향상시키기 위해 노드 임베딩에서 그래프 구조를 더 잘 유지하는 것.
• 학습 중에만 무작위 보행에 기반한 어텐션 메커니즘을 적용하고, 추론 시에는 사용하지 않는 어텐션 메커니즘을 개발하는 것.
• 다양한 그래프에서 학습된 어텐션 매개변수와 수동 최적화된 초항수 값 간의 일관성을 입증하는 것.

제안 방법

• 고정된 무작위 보행 초항수를 학습 가능한 어텐션 매개변수로 대체하여 보행 과정을 안내하는 방법.
• 전이 행렬의 거듭제곱 급수를 사용해 무작위 보행 과정을 모델링함으로써, 미분 가능한 최적화를 가능하게 하는 방법.
• 상游 링크 예측 목표를 최적화하기 위해 역전파를 통해 어텐션 가중치를 학습하는 방법.
• 어텐션 메커니즘은 학습 중에만 적용하여 보행 경로를 형상화하고, 추론 시에는 사용하지 않는 방법.
• 경사 하강법을 사용해 링크 예측 손실을 최소화하기 위해 엔드 투 엔드로 모델을 훈련하는 방법.
• 이 방법은 사회적, 협업적, 생물학적 네트워크를 포함한 다양한 그래프 유형으로 일반화된다.

실험 결과

연구 질문

• RQ1 어떻게 어텐션 메커니즘이 수동 조정 없이 최적의 무작위 보행 초항수를 자동으로 학습할 수 있는가?
• RQ2 제안된 방법의 성능은 링크 예측 작업에서 최신 기술 대비 어떻게 비교되는가?
• RQ3 수동 최적화된 초항수 값과 일치하는가?
• RQ4 이 방법은 미리 보지 못한 그래프 구조로의 일반화를 어느 정도 향상시키는가?

주요 결과

• 제안된 방법은 다양한 실세계 데이터셋에서 최신 기술 대비 링크 예측 오차를 20%에서 45%까지 감소시킨다.
• 학습된 어텐션 매개변수는 그래프에 따라 특화되어 있으며, 수동 최적화된 최적의 초항수 값과 일관되게 일치한다.
• 모델은 사회적, 협업적, 생물학적 네트워크를 포함한 다양한 그래프 유형에서 잘 일반화된다.
• 어텐션 메커니즘이 구조 정보를 유지하도록 동적으로 보행 경로를 안내함으로써 임베딩 품질을 향상시킨다.
• 기본 모델 아키텍처나 추론 파이프라인을 수정하지 않아도 우수한 성능을 달성한다.
• 어텐션 매개변수의 효과는 학습 중에만 나타나며, 추론 시 런타임 오버헤드가 발생하지 않는다.