[논문 리뷰] Adaptive Graph Diffusion Networks with Hop-wise Attention

Chuxiong Sun, Guoshi Wu|arXiv (Cornell University)|2020. 12. 29.

Advanced Graph Neural Networks참고 문헌 34인용 수 12

한 줄 요약

이 논문은 과도한 스무딩과 과적합을 완화하기 위해 다중 호프 이웃 정보를 학습 가능한 노드 적응형 어텐션 기반으로 집계하는, 새로운 GNN 아키텍처인 히프별 어텐션을 갖춘 적응형 그래프 확산 네트워크(AGDNs-HA)를 제안한다. 단일 레이어에서 고차원 그래프 이웃 정보를 효과적으로 통합함으로써, 준지도 학습 노드 분류 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) have received much attention recent years and have achieved state-of-the-art performances in many fields. The deeper GNNs can theoretically capture deeper neighborhood information. However, they often suffer from problems of over-fitting and over-smoothing. In order to incorporate deeper information while preserving considerable complexity and generalization ability, we propose Adaptive Graph Diffusion Networks with Hop-wise Attention (AGDNs-HA). We stack multi-hop neighborhood aggregations of different orders into single layer. Then we integrate them with the help of hop-wise attention, which is learnable and adaptive for each node. Experimental results on the standard dataset with semi-supervised node classification task show that our proposed methods achieve significant improvements.

연구 동기 및 목표

• 다중 레이어를 쌓는 과정에서 발생하는 깊은 그래프 신경망(GNN)의 과도한 스무딩과 과적합 문제를 해결한다.
• 모델 깊이를 증가시키지 않고도 다중 호프 이웃 정보를 통합하여 더 깊은 수용장역을 확보한다.
• 다양한 히프 순서에 대해 적응형 노드 전용 어텐션을 도입함으로써 모델의 일반화 능력과 복잡성을 유지한다.
• 더 유용하고 선택적인 이웃 집계를 통해 준지도 학습 노드 분류 작업의 성능을 향상시킨다.

제안 방법

• 다양한 순서의 다중 호프 이웃 집계(예: 1-히프, 2-히프 등)를 단일 네트워크 레이어에 통합하여 더 깊은 그래프 구조를 포착한다.
• 다양한 히프별 이웃 정보의 기여도를 동적으로 가중치 부여하는 학습 가능한 노드 적응형 어텐션 메커니즘을 도입한다.
• 다양한 히프에서 온 어텐션 처리된 특징을 가중치 부여 집계 전략을 사용해 통합된 노드 표현으로 조합한다.
• 준지도 학습 노드 분류를 위한 표준 교차 엔트로피 손실을 사용해 모델을 종단 간(end-to-end)으로 훈련한다.
• 어텐션 메커니즘이 노드별로 적응형이 되어 국소 그래프 구조에 따라 가장 관련성이 높은 이웃 순서에 집중할 수 있도록 보장한다.
• 다중 호프 집계를 갖는 단일 레이어 아키텍처를 사용하여 깊이에 따른 성능 저하를 줄이면서도 표현 능력을 유지한다.

실험 결과

연구 질문

• RQ1 단일 레이어에서 다중 호프 이웃 정보를 통합하면 모델 깊이를 늘리지 않아도 GNN 성능 향상이 가능한가?
• RQ2 다양한 히프 순서에 대해 노드 적응형 어텐션을 적용할 경우 깊은 GNN에서 일반화 능력과 과도한 스무딩에 어떤 영향을 미치는가?
• RQ3 학습 가능한 히프별 어텐션은 준지도 학습 노드 분류 작업에서 얼마나 성능 향상에 기여하는가?
• RQ4 제안된 방법은 정확도와 안정성 측면에서 기존 표준 GNN 및 깊은 GNN 변종보다 뛰어나게 성능을 냈는가?

주요 결과

• 제안된 AGDNs-HA 모델은 표준 준지도 학습 노드 분류 벤치마크에서 뚜렷한 성능 향상을 달성한다.
• 다양한 히프 순서에 걸쳐 학습 가능한 노드 적응형 어텐션을 적용함으로써 깊은 GNN에서 과도한 스무딩과 과적합을 효과적으로 줄일 수 있다.
• 깊은 이웃 정보를 통합함에도 불구하고 높은 일반화 능력을 유지한다.
• 다중 호프 집계를 갖는 단일 레이어 아키텍처는 정확도와 훈련 안정성 측면에서 기존의 깊은 GNN보다 뛰어난 성능을 보인다.