[논문 리뷰] Understanding attention in graph neural networks.

B. A. Knyazev, Graham W. Taylor외 1명|arXiv (Cornell University)|2019. 05. 08.

Advanced Graph Neural Networks인용 수 10

한 줄 요약

이 논문은 통제된 그래프 추론 작업을 통해 그래프 신경망(GNNs) 내 주의 메커니즘을 조사하며, 일반적인 설정에서는 주의가 흔히 무시할 만한 또는 해로운 성능 향상을 제공하는 것으로 드러난다. 그러나 최적의 초기화 또는 지도 학습과 같은 특정 조건에서는 주의가 성능을 60% 이상 향상시킨다. 저자들은 합성 및 실세계 그래프에서 비지도 기반 모델보다 뚜렷이 뛰어난 성능을 내는, 지도 학습 모델에 가까운 성능을 달성하는 약한 지도 학습 기반 학습 레시피를 제안한다.

ABSTRACT

We aim to better understand attention over nodes in graph neural networks (GNNs) and identify factors influencing its effectiveness. We particularly focus on the ability of attention GNNs to generalize to larger, more complex or noisy graphs. Motivated by insights from the work on Graph Isomorphism Networks, we design simple graph reasoning tasks that allow us to study attention in a controlled environment. We find that under typical conditions the effect of attention is negligible or even harmful, but under certain conditions it provides an exceptional gain in performance of more than 60% in some of our classification tasks. Satisfying these conditions in practice is challenging and often requires optimal initialization or supervised training of attention. We propose an alternative recipe and train attention in a weakly-supervised fashion that approaches the performance of supervised models, and, compared to unsupervised models, improves results on several synthetic as well as real datasets. Source code and datasets are available at this https URL.

연구 동기 및 목표

• 그래프 복잡도와 노이즈 수준의 변화에 따라 GNN 내 주의 메커니즘의 효과성을 이해하기 위해.
• 특히 더 큰 또는 더 노이즈가 많은 그래프에서 주의가 GNN 일반화를 향상시키는 조건을 특정하기 위해.
• 완전한 지도 학습 없이도 효과적인 주의 학습을 수행하는 데 도전하는 것.
• 완전한 지도 학습 성능에 근접하면서도 비지도 대안보다 뛰어난 성능을 내는 약한 지도 학습 기반 학습 레시피를 제안하기 위해.

제안 방법

• 주목적 메커니즘의 행동을 분리하기 위해 그래프 이소모르피즘 네트워크의 통찰을 기반으로 한 단순하고 통제 가능한 그래프 추론 작업을 설계하기 위해.
• 기본, 비지도, 지도 학습 설정에서 주의 성능을 평가하기 위해.
• 제한된 지도 정보를 활용하여 주의 학습을 이끄는 약한 지도 학습 기반 학습 레시피 도입하기 위해.
• 다양한 학습 설정에서 합성 및 실세계 데이터셋 간의 성능 비교하기 위해.
• 주의의 영향을 다른 GNN 구성 요소로부터 분리하기 위해 분석 실험 수행하기 위해.
• 주의 분포와 노드 중요도를 분석하여 통제된 환경에서 주의의 동역학을 이해하기 위해.

실험 결과

연구 질문

• RQ1 GNN 내 주의가 뚜렷한 성능 향상을 가져오기 위해 어떤 조건에서 작동하는가?
• RQ2 복잡하거나 노이즈가 많은 그래프에서 비지도, 지도 학습, 약한 지도 학습 주의 학습의 성능는 어떻게 비교되는가?
• RQ3 약한 지도 학습 기반 학습 레시피가 완전한 지도 학습이 필요 없이 완전한 지도 학습 주의 성능에 근접한 성능을 달성할 수 있는가?
• RQ4 왜 일반적인 GNN 학습 설정에서 주의가 성능 향상을 거의 기대할 수 없는가?
• RQ5 어떤 구조적 또는 초기화 요소가 주의가 더 큰 또는 더 복잡한 그래프로 효과적으로 일반화되도록 하는가?

주요 결과

• 일반적인 학습 조건에서 GNN 내 주의 메커니즘은 흔히 무시할 만한 또는 해로운 성능 향상을 제공한다.
• 적절한 초기화 또는 완전한 지도 학습과 같은 최적 조건에서는 일부 분류 작업에서 성능을 60퍼센트 이상 향상시킬 수 있다.
• 제안된 약한 지도 학습 기반 학습 레시피는 합성 및 실세계 데이터셋 여러 개에서 완전한 지도 학습 모델과 유사한 성능을 달성한다.
• 비지도 주의 학습에 비해 약한 지도 학습 접근법은 평가된 모든 데이터셋에서 일관되게 성능 향상을 이룬다.
• 주의의 효과성은 학습 방식과 초기화에 매우 민감하며, 일반적인 학습 설정에서는 거의 이득을 보이지 않는다.
• 학습 조건이 철저히 제어될 경우, 복잡하거나 노이즈가 많은 그래프 설정에서 주의의 성능 향상이 가장 두드러진다.