[논문 리뷰] Understanding Attention and Generalization in Graph Neural Networks

B. A. Knyazev, Graham W. Taylor외 1명|arXiv (Cornell University)|2019. 05. 08.

Advanced Graph Neural Networks참고 문헌 30인용 수 55

한 줄 요약

이 논문은 GNN에서 노드 주의(attention)를 연구하여, 잘 초기화되었거나 약지도 학습 상태일 때 주의가 더 큰 그래프나 노이즈가 많은 그래프에 대한 일반화 성능을 크게 향상시킬 수 있음을 보여주지만, 적절한 학습이나 초기화 없이는 불안정한 경우가 많다.

ABSTRACT

We aim to better understand attention over nodes in graph neural networks (GNNs) and identify factors influencing its effectiveness. We particularly focus on the ability of attention GNNs to generalize to larger, more complex or noisy graphs. Motivated by insights from the work on Graph Isomorphism Networks, we design simple graph reasoning tasks that allow us to study attention in a controlled environment. We find that under typical conditions the effect of attention is negligible or even harmful, but under certain conditions it provides an exceptional gain in performance of more than 60% in some of our classification tasks. Satisfying these conditions in practice is challenging and often requires optimal initialization or supervised training of attention. We propose an alternative recipe and train attention in a weakly-supervised fashion that approaches the performance of supervised models, and, compared to unsupervised models, improves results on several synthetic as well as real datasets. Source code and datasets are available at https://github.com/bknyaz/graph_attention_pool.

연구 동기 및 목표

• 노드에 대한 주의가 GNN 성능에 도움이 되는 시점을 조사한다.
• GNN의 주의 효과에 영향을 미치는 요인들을 이해한다.
• 주 의가 적용된 GNN의 더 크고 더 복잡하거나 노이즈가 많은 그래프에 대한 일반화를 평가한다.

제안 방법

• 주의(attention)를 풀링과 결합하여 통합된 GNN 블록을 형성한다.
• 두 가지 주의 메커니즘을 비교한다: 선형 투영과 DiffPool 기반 서브네트워크.
• 주의를 이용해 노드를 제거하는 임계 기반 풀링 변형을 도입한다. 이는 top-k 풀링과 유사하다.
• KL-발산 손실을 이용한 주의의 지도학습, 비지도학습, 약지도 학습을 사용한다.
• 학습 역학을 개선하기 위한 다중 스케일 체비쇼프/GNN 하이브리드인 ChebyGIN을 제안한다.

실험 결과

연구 질문

• RQ1 GNN에서 주의가 이득을 주는 조건은 무엇이며, 무시되거나 해로운 경우는 어떤 조건인가?
• RQ2 주 의가 작업 간에 더 크거나 노이즈가 많은 그래프에 대한 일반화에 어떤 영향을 미치는가?
• RQ3 주 의에 대한 약지도 학습 스킴이 완전한 지도 학습 주의의 성능에 근접할 수 있는가?
• RQ4 GNN에서 주의 성능에 영향을 미치는 주요 요인(초기화, 기본 GNN의 강도, 하이퍼파라미터)은 무엇인가?
• RQ5 제안된 주의 기반 풀링은 DiffPool 및 top-k 풀링과 같은 기존 풀링 방법과 어떻게 비교되는가?

주요 결과

• 조건이 충족될 때 주의는 일부 분류 과제에서 60% 이상 성능 향상을 얻을 수 있다.
• 일반 설정에서는 초기화/학습이 신중하게 관리되지 않으면 주의 효과가 무시되거나 해롭다.
• 지도학습 또는 약지도 주의는 합성 및 실제 데이터 세트에서 더 크고 노이즈가 많은 그래프에 대한 강건성과 일반화를 크게 향상시킨다.
• 주의 모델의 잘못된 초기화는 모델을 비최적의 풀링 선택으로 고착시킬 수 있으며, 강력한 성능을 위해서는 좋은 초기화가 중요하다.
• 약지도 주의 학습은 지도 주의와의 격차를 크게 좁히며, 여러 데이터셋에서 비지도 방법보다 성능이 더 좋다.
• ChebyGIN(체비쇼프/ GNN 하이브드)은 주의와 함께 학습 역학과 성능을 향상시킨다.