[논문 리뷰] Improving Graph Attention Networks with Large Margin-based Constraints

Guangtao Wang, Rex Ying외 2명|arXiv (Cornell University)|2019. 10. 25.

Advanced Graph Neural Networks참고 문헌 40인용 수 24

한 줄 요약

이 논문은 과적합과 과도한 스무딩을 줄이기 위해 주어진 마진 기반 제약 조건을 도입함으로써 그래프 자기주도 네트워크(GAT)의 성능을 향상시키는 제약 조건이 부여된 그래프 어텐션 네트워크(C-GAT)를 제안한다. 이는 이웃 노드보다 비이웃 노드에 대해 더 높은 어텐션을 부여하고, 상위-k 이웃 집합을 사용함으로써 성능을 향상시키며, 유도적 PPI 데이터셋에서 98.8%의 정확도를 달성하여 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Graph Attention Networks (GATs) are the state-of-the-art neural architecture for representation learning with graphs. GATs learn attention functions that assign weights to nodes so that different nodes have different influences in the feature aggregation steps. In practice, however, induced attention functions are prone to over-fitting due to the increasing number of parameters and the lack of direct supervision on attention weights. GATs also suffer from over-smoothing at the decision boundary of nodes. Here we propose a framework to address their weaknesses via margin-based constraints on attention during training. We first theoretically demonstrate the over-smoothing behavior of GATs and then develop an approach using constraint on the attention weights according to the class boundary and feature aggregation pattern. Furthermore, to alleviate the over-fitting problem, we propose additional constraints on the graph structure. Extensive experiments and ablation studies on common benchmark datasets demonstrate the effectiveness of our method, which leads to significant improvements over the previous state-of-the-art graph attention methods on all datasets.

연구 동기 및 목표

• 어 attention weights에 대한 supervision이 부족하고 모델 복잡도가 증가함에 따라 GAT에서 발생하는 과적합 문제를 해결한다.
• 특히 클래스 경계에서 서로 다른 클래스의 노드가 과도하게 스무딩되는 현상을 완화한다.
• 구조적 제약 조건과 레이블 인식 제약 조건을 통해 새로운 그래프 구조에 대한 일반화 능력을 향상시킨다.
• 모델 최적화를 향상시키기 위해 계층별 적응형 음성 샘플링을 사용하는 효율적인 훈련 전략을 개발한다.
• 다른 클래스 간의 노이즈 정보 전파를 줄이기 위해 상위-k 어텐션 기반 집합 함수를 제안한다.

제안 방법

• 사전 정의된 마진을 기반으로 이웃 노드에 대해 비이웃 노드보다 더 높은 어텐션 가중치를 부여하는 마진 기반 제약 조건을 도입한다.
• 클래스 경계 제약 조건을 수립하여, 서로 다른 클래스의 노드를 연결하는 간선에 대해 낮은 가중치를 할당하도록 어텐션 함수를 안내한다.
• 가장 높은 어텐션을 보이는 이웃들만 사용하는 상위-k 이웃 기반 특징 집합 함수를 설계하여 결정 경계에서의 과도한 스무딩을 줄인다.
• 노드 중요도를 기반으로 유의미한 음성 노드를 우선순위로 지정하는 계층별 적응형 음성 샘플링 전략을 구현하여 훈련 효율성을 향상시킨다.
• 모델 아키텍처를 수정하지 않고도 학습 목표에 제약 조건을 정규화 항으로 통합하여 학습 안정성을 확보한다.
• 차별 가능한 최적화 프레임워크를 사용하여 GAT과 어텐션 제약 조건, 상위-k 집합 함수를 동시에 학습시킨다.

실험 결과

연구 질문

• RQ1 어떤 마진 기반 제약 조건이 새로운 그래프 구조에서 GAT의 일반화 성능에 영향을 미치는가?
• RQ2 상위-k 이웃 집합 함수는 깊은 GAT에서 클래스 경계에서의 과도한 스무딩을 어느 정도 줄일 수 있는가?
• RQ3 적응형 음성 샘플링은 균일한 음성 샘플링에 비해 제약 조건이 부여된 GAT에서 훈련 효율성과 성능을 향상시키는가?
• RQ4 무작위 간선 추가와 같은 구조적 흐트러짐 상황에서 제안된 방법의 성능은 어떠한가?
• RQ5 노이즈가 있거나 더 깊은 그래프 환경에서 상위-k 집합 함수의 최적의 k 값은 무엇인가?

주요 결과

• C-GAT은 유도적 PPI 데이터셋에서 98.8%의 새로운 최고 성능을 기록하여 이전의 GAT 기반 모델들을 크게 앞서간다.
• Cora, Citeseer, PubMed에서 C-GAT은 표준 GAT보다 일관되게 성능 향상을 보이며, 특히 GAT가 과도한 스무딩 문제를 겪는 깊은 아키텍처에서 두드러진다.
• 테스트 그래프에 50%의 간선이 무작위로 추가된 상황에서도 C-GAT은 높은 성능을 유지하여 구조적 흐트러짐에 대한 강건성을 입증한다.
• 적응형 음성 샘플링을 사용한 모델이 균일한 음성 샘플링 기반 베이스라인보다 성능이 뛰어나 중요도 인식 기반 샘플링의 유용성을 확인한다.
• 노이즈가 있는 그래프에서는 k=4가 최적의 성능을 내며, 깨끗한 그래프에서는 k=8이 최적임을 확인했다.
• 표준 GAT와 달리 깊이가 증가하더라도 C-GAT의 성능 저하가 발생하지 않아 과도한 스무딩을 효과적으로 완화함을 시사한다.