[논문 리뷰] Graph Neighborhood Attentive Pooling

Zekarias T. Kefato, Šarūnas Girdzijauskas|arXiv (Cornell University)|2020. 01. 28.

Advanced Graph Neural Networks참고 문헌 25인용 수 5

한 줄 요약

이 논문은 텍스트 특징 또는 커뮤니티 탐지 없이, 주변부의 다른 부분에 주의를 기울이는 어텐션 메커니즘을 사용하여 노드 표현을 학습하는 맥락에 민감한 그래프 신경망 Gap을 제안한다. 링크 예측 및 노드 클러스터링에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존 방법보다 각각 최대 9%와 20% 향상되었고, 유사한 어텐션 기반 모델보다 2배 이상 빠른 속도를 기록한다.

ABSTRACT

Network representation learning (NRL) is a powerful technique for learning low-dimensional vector representation of high-dimensional and sparse graphs. Most studies explore the structure and metadata associated with the graph using random walks and employ an unsupervised or semi-supervised learning schemes. Learning in these methods is context-free, because only a single representation per node is learned. Recently studies have argued on the sufficiency of a single representation and proposed a context-sensitive approach that proved to be highly effective in applications such as link prediction and ranking. However, most of these methods rely on additional textual features that require RNNs or CNNs to capture high-level features or rely on a community detection algorithm to identify multiple contexts of a node. In this study, without requiring additional features nor a community detection algorithm, we propose a novel context-sensitive algorithm called GAP that learns to attend on different parts of a node's neighborhood using attentive pooling networks. We show the efficacy of GAP using three real-world datasets on link prediction and node clustering tasks and compare it against 10 popular and state-of-the-art (SOTA) baselines. GAP consistently outperforms them and achieves up to ~9% and ~20% gain over the best performing methods on link prediction and clustering tasks, respectively.

연구 동기 및 목표

• 그래프 표현 학습에서 맥락 무관 노드 표현의 한계를 해결하기 위해.
• 텍스트 특징이나 커뮤니티 탐지 알고리즘에 의존하지 않는 맥락에 민감한 접근법을 개발하기 위해.
• 오직 그래프 구조만을 사용하여 링크 예측 및 노드 클러스터링 작업의 성능을 향상시키기 위해.
• 에코더 단계를 제거하여 민감한 풀링 네트워크(apn)를 단순화함으로써 학습 속도를 향상시키기 위해.

제안 방법

• Gap는 각 노드의 고정 크기 이웃 시퀀스를 구성하기 위해 이웃 함수를 사용하며, 이들의 순서는 임의로 간주한다.
• 에코더 단계를 생략한 채로, 어텐션 풀링 네트워크(apn)에 영감을 받은 어텐션 메커니즘을 적용한다. 이는 순차적 또는 텍스트 특징가 없기 때문이다.
• 원천 노드와 컨텍스트 노드 간의 상호 어텐션 메커니즘을 사용해 이웃 특징에 대한 소프트 어텐션을 계산한다.
• 어 attention 정렬 행렬에 대해 열 방향 및 행 방향 풀링을 수행하여 맥락 인식 표현을 생성한다.
• 학습된 어텐션 벡터를 사용해 이웃 임베딩의 가중합을 통해 최종 표현을 얻는다.
• 링크 예측 및 클러스터링을 위한 대trastive 손실 목표함수를 사용해 엔드 투 엔드로 모델을 학습시킨다.

실험 결과

연구 질문

• RQ1 텍스트 특징이나 커뮤니티 탐지에 의존하지 않고 맥락에 민감한 그래프 표현 학습 방법이 최신 기술 수준 성능을 달성할 수 있는가?
• RQ2 텍스트 특징이 없는 상황에서 apn 아키텍처에서 에코더를 제거하면 성능이 떨어지는가?
• RQ3 오직 그래프 이웃에 대한 어텐션만으로도 맥락 무관 또는 특징 의존적 방법보다 더 나은 성능을 낼 수 있는가?
• RQ4 제안된 단순화가 학습 속도 및 확장성에 어떤 영향을 미치는가?

주요 결과

• Gap는 세 개의 실세계 데이터셋에서 링크 예측 작업에서 최고의 베이스라인 대비 최대 9%의 상대적 향상을 달성한다.
• Gap는 노드 클러스터링 작업에서 최고의 베이스라인 대비 최대 20%의 상대적 향상을 달성한다.
• 에코더 단계를 제거함으로써 텍스트 특징을 사용하는 apn 기반 방법보다 Gap은 학습 속도가 2배 이상 빠르다.
• 제거 실험 결과, 상호 어텐션 메커니즘이 필수적임을 확인했으며, 이를 피드포워드 네트워크(GapMlp)로 대체할 경우 성능 저하가 심각하게 발생한다.
• 드롭아웃 비율 0.95의 강력한 정규화 조건에서도 모델은 강인하게 유지되며, 이는 단순화된 아키텍처가 에코더 기반 변종보다 과적합을 더 잘 방지함을 시사한다.
• 에코더 기반 변종(GapCn, GapApn)의 성능은 커널 크기가 커질수록 떨어지며, 이는 고수준의 이웃 패턴이 간선 예측에 유리하지 않음을 시사한다.