[논문 리뷰] Learning Robust Node Representations on Graphs.

Xu Chen, Ya Zhang외 2명|arXiv (Cornell University)|2020. 08. 26.

Advanced Graph Neural Networks참고 문헌 41인용 수 4

한 줄 요약

이 논문은 대조적 그래프 신경망(Contrastive Graph Neural Networks, CGNN)을 제안하며, 안정성, 스무딩, 식별 가능성에 대한 공동 최적화를 통해 노드 표현의 강건성을 향상시키는 새로운 비지도 학습 프레임워크이다. 기존의 GCN, GraphSAGE, GAT 등의 GNN 백본과 대조적 학습 목표를 통합함으로써, 이주 및 유도 그래프 학습 벤치마크 전반에서 최고 성능을 달성한다.

ABSTRACT

Graph neural networks (GNN), as a popular methodology for node representation learning on graphs, currently mainly focus on preserving the smoothness and identifiability of node representations. A robust node representation on graphs should further hold the stability property which means a node representation is resistant to slight perturbations on the input. In this paper, we introduce the stability of node representations in addition to the smoothness and identifiability, and develop a novel method called contrastive graph neural networks (CGNN) that learns robust node representations in an unsupervised manner. Specifically, CGNN maintains the stability and identifiability by a contrastive learning objective, while preserving the smoothness with existing GNN models. Furthermore, the proposed method is a generic framework that can be equipped with many other backbone models (e.g. GCN, GraphSage and GAT). Extensive experiments on four benchmarks under both transductive and inductive learning setups demonstrate the effectiveness of our method in comparison with recent supervised and unsupervised models.

연구 동기 및 목표

• 기존 그래프 신경망이 입력 변형에 민감하여 강건성이 떨어지는 문제를 해결하기 위해.
• 소규모 입력 변화에 저항하는 안정성 특성—즉, 작은 입력 변화에 대한 저항성—을 공식화하고 노드 표현 학습에 통합하기 위해.
• 라벨이 없는 데이터가 필요 없이 강건성을 향상시키는 일반적인 비지도 프레임워크를 개발하기 위해.
• 노드 표현의 스무딩과 식별 가능성을 유지하면서도 변형에 대한 저항성을 향상시키기 위해.
• 이러한 방법이 다양한 그래프 학습 환경—특히 이주 및 유도 설정—에서 효과적으로 작용하는지 입증하기 위해.

제안 방법

• 동일한 노드의 증강된 뷰와 같은 양성 노드 쌍은 유사한 표현을 가지도록 유도하고, 음성 쌍은 서로 멀어지도록 하는 대조적 학습 목표를 도입한다.
• 기존의 GNN 아키텍처(예: GCN, GraphSAGE, GAT)를 메시지 전파 및 특징 집합의 백본으로 활용하여 스무딩을 유지한다.
• 대조적 학습 목표를 통해 서로 다른 노드가 구별 가능한 표현을 가지도록 식별 가능성을 유지한다.
• 노드 특징 마스킹 또는 엣지 변형과 같은 방법으로 데이터 증강을 적용하여 대조 학습을 위한 양성 샘플을 생성한다.
• 학습의 안정성을 높이기 위해 모멘텀 에너지 또는 대칭적 대조 학습을 사용하여 대조 손실을 최적화한다.
• GNN 백본 위에 대조적 목표를 정규화 요소로 통합하여 다양한 기존 GNN 모델과의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 안정성 목표를 도입함으로써 그래프 신경망에서 입력 변형에 대한 노드 표현의 강건성이 향상되는가?
• RQ2 제안된 대조적 학습 프레임워크는 기존의 비지도 및 지도 학습 GNN 방법에 비해 표현 품질 측면에서 어떻게 비교되는가?
• RQ3 제안된 방법이 다양한 GNN 백본(GCN, GraphSAGE, GAT 등)에 대해 얼마나 일반화되는가?
• RQ4 안정성, 스무딩, 식별 가능성의 조합이 이주 및 유도 그래프 학습 설정 모두에서 더 나은 성능을 내는가?
• RQ5 라벨이 없는 데이터가 필요 없이 이 방법이 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 CGNN 프레임워크는 이주 및 유도 학습 설정 모두에서 네 가지 벤치마크 데이터셋에서 최고 성능을 달성한다.
• CGNN는 엣지나 특징이 약간 수정된 경우에도 높은 표현 품질을 유지하며, 입력 변형에 대해 뛰어난 강건성을 보여준다.
• GCN, GraphSAGE, GAT 등 여러 GNN 백본에서 일관되게 성능 향상을 보이며, 이는 그 일반적 적용 가능성의 증거가 된다.
• 대조적 학습 목표는 노드 표현의 스무딩을 해치지 않으면서도 안정성과 식별 가능성을 효과적으로 향상시킨다.
• 비지도 성격 덕분에 CGNN는 여러 벤치마크에서 지도 학습 모델과 비교해도 뛰어난 성능을 보이며, 일부 경우에서는 이를 초월한다.
• 광범위한 아블레이션 연구를 통해 특히 대조적 목표가 최종 성능 향상에 크게 기여한다는 것이 확인된다.