[논문 리뷰] SEGA: Structural Entropy Guided Anchor View for Graph Contrastive Learning

Junran Wu, Xueyuan Chen외 3명|arXiv (Cornell University)|2023. 05. 08.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 그래프 대비 학습을 위한 새로운 앵커 뷰인 SEGA를 제안한다. SEGA는 그래프 정보 복잡도 이론에 기반하여 구조적 엔트로피를 최소화함으로써 필수적인 구조적 정보를 유지한다. SEGA는 그래프 분류 작업에서 비지도 학습, 준지도 학습, 전이 학습 벤치마크 전반에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존 방법 대비 일관된 정확도 향상(최대 3.17%)을 보였다.

ABSTRACT

In contrastive learning, the choice of ``view'' controls the information that the representation captures and influences the performance of the model. However, leading graph contrastive learning methods generally produce views via random corruption or learning, which could lead to the loss of essential information and alteration of semantic information. An anchor view that maintains the essential information of input graphs for contrastive learning has been hardly investigated. In this paper, based on the theory of graph information bottleneck, we deduce the definition of this anchor view; put differently, extit{the anchor view with essential information of input graph is supposed to have the minimal structural uncertainty}. Furthermore, guided by structural entropy, we implement the anchor view, termed extbf{SEGA}, for graph contrastive learning. We extensively validate the proposed anchor view on various benchmarks regarding graph classification under unsupervised, semi-supervised, and transfer learning and achieve significant performance boosts compared to the state-of-the-art methods.

연구 동기 및 목표

• 그래프 대비 학습을 위해 입력 그래프의 필수적인 구조적 정보를 유지하는 앵커 뷰를 정의하는 것.
• 기존 그래프 대비 학습 방법이 무작위 또는 학습된 뷰를 사용함으로써 중요한 구조적 의미 정보를 왜곡하거나 손실할 수 있는 한계를 해결하는 것.
• 구조적 엔트로피 최소화를 활용하여 고품질의 앵커 뷰를 생성하는 원리적인 정보 이론 기반 방법을 개발하는 것.
• 제안된 앵커 뷰의 효과성을 다양한 그래프 학습 설정(비지도 학습, 준지도 학습, 전이 학습 포함)에서 검증하는 것.

제안 방법

• 앵커 뷰는 그래프 정보 복잡도 원리에서 유도된 최소 구조적 불확실성을 가진 그래프 표현으로 이론적으로 정의된다.
• 구조적 엔트로피는 구조적 불확실성을 정량화하고 최소화하는 데 사용되며, 이는 필수적인 그래프 구조를 식별하는 데 기여한다.
• 최적화 알고리즘이 구조적 엔트로피를 최소화함으로써 입력 그래프의 필수 정보를 표현하는 코드 트리를 생성한다.
• GNN 기반 인코더가 이러한 코드 트리를 처리하여 대비 학습을 위한 압축되고 정보가 풍부한 표현을 추출한다.
• 이 프레임워크는 코드 트리의 임베딩(앵커 뷰)을 증강된 그래프 표현과 대비시켜 상호 정보량과 표현 일관성을 최대화한다.
• 이 방법은 기존의 데이터 증강 전략과 수직이며, 이를 조합함으로써 성능을 추가로 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 대비 학습을 위해 그래프의 필수 정보를 유지하는 이상적인 앵커 뷰는 무엇으로 정의되는가?
• RQ2 구조적 엔트로피는 어떻게 사용되어 최소한의 구조적 불확실성을 가진 고품질의 앵커 뷰를 생성할 수 있는가?
• RQ3 이 엔트로피 기반 앵커 뷰를 사용하는 대비 학습 프레임워크가 다양한 그래프 학습 설정에서 기존 최신 기술 수준(SOTA) 방법을 초월할 수 있는가?
• RQ4 코드 트리의 높이는 제안된 방법의 성능에 어떤 영향을 미치는가?

주요 결과

• SEGA는 비지도 학습 하에서 여덟 개의 그래프 분류 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성했으며, SOTA 증강 기법과 조합했을 때 평균 정확도 향상이 0.85%에서 1.28%에 이르렀다.
• 전이 학습에서는 GraphCL 대비 여섯 개의 벤치마크에서 평균 ROC-AUC 성능 향상이 3.17%로 나타나 강력한 일반화 능력을 입증했다.
• 준지도 학습에서 SEGA는 모든 베이스라인을 압도했으며, 모든 데이터셋에서 일관된 향상이 관찰되어 레이블이 제한된 환경에서도 효과적임을 입증했다.
• 제거 분석 결과, 무작위 코드 트리 대비 구조적 엔트로피 지도가 성능 향상에 크게 기여하며, 여덟 개의 모든 벤치마크에서 일관된 성능 향상이 확인되었다.
• 최적의 코드 트리 높이는 데이터셋에 따라 달라지며, 일반적으로 얕은 트리(k ≤ 5)가 가장 좋은 성능을 보였지만, NCI1과 DD는 더 깊은 계층도 가능성이 있음을 보였다.