[논문 리뷰] From Cluster Assumption to Graph Convolution: Graph-based Semi-Supervised Learning Revisited

Zheng Wang, Hongming Ding외 4명|arXiv (Cornell University)|2023. 09. 24.

Advanced Graph Neural NetworksComputer Science인용 수 3

한 줄 요약

이 논문은 단일 최적화 프레임워크 내에서 전통적인 클러스터 가정 기반 방법과 현대적인 그래프 컬러션 네트워크(GCNs)를 통합함으로써 그래프 기반 준지도 학습을 재검토한다. 기존 GCN이 각 레이어에서 레이블 손실과 그래프 구조 손실을 동시에 최소화하지 못함으로써 최적 성능을 내지 못할 수 있음을 밝혀내었다. 이를 해결하기 위해, 새로운 연산자(SEB 및 IGC)를 통해 레이블 정보와 구조 정보를 명시적으로 보존하는 세 가지 새로운 그래프 컬러션 방법(OGC(지도학습), GGC, GGCM(비지도학습))을 제안하였으며, 과도한 스무딩에 대한 강건성 향상과 함께 최신 기준 성능을 달성하였다.

ABSTRACT

Graph-based semi-supervised learning (GSSL) has long been a hot research topic. Traditional methods are generally shallow learners, based on the cluster assumption. Recently, graph convolutional networks (GCNs) have become the predominant techniques for their promising performance. In this paper, we theoretically discuss the relationship between these two types of methods in a unified optimization framework. One of the most intriguing findings is that, unlike traditional ones, typical GCNs may not jointly consider the graph structure and label information at each layer. Motivated by this, we further propose three simple but powerful graph convolution methods. The first is a supervised method OGC which guides the graph convolution process with labels. The others are two unsupervised methods: GGC and its multi-scale version GGCM, both aiming to preserve the graph structure information during the convolution process. Finally, we conduct extensive experiments to show the effectiveness of our methods. Code is available at https://github.com/zhengwang100/ogc_ggcm.

연구 동기 및 목표

• 전통적인 클러스터 가정 기반 GSSL과 현대적 GCNs 간의 이론적 관계를 통합 최적화 프레임워크 내에서 분석하는 것.
• 표준 GCN의 핵심 한계를 특정하는 것: 각 레이어에서 레이블 손실과 그래프 구조 손실을 동시에 최소화하지 못함.
• 특징 전파 과정에서 레이블 정보와 그래프 구조를 명시적으로 보존하는 단순하면서도 효과적인 그래프 컬러션 방법 설계.
• 기존 GCN 모델에 통합할 수 있는 플러그인 연산자(SEB 및 IGC)를 제안하여 과도한 스무딩을 수정하고 일반화 성능을 향상시키는 것.
• 다양한 벤치마크 데이터셋에서 제안된 방법의 유효성을 실증적으로 검증하여 SOTA GCN 변종보다 뛰어난 성능을 보이는 것.

제안 방법

• 지도 학습 분류 손실과 비지도 학습 라플라시안 스무딩 손실을 결합한 통합 GSSL 최적화 프레임워크 제안.
• OGC에서 Supervised Embedding Block(SEB) 연산자를 도입하여 그래프 컬러션 과정에서 분류 손실과 스무딩 손실을 동시에 최소화.
• 비유사 노드 간의 차이를 유지함으로써 과도한 스무딩을 완화하기 위해 Inverse Graph Convolution(IGC) 연산자 설계.
• 기본 그래프 컬러션과 IGC를 조합하여 GGC 및 다중 스케일 버전인 GGCM 개발하여 임베딩 공간에서 원래 그래프 구조를 보존.
• 이중 스트림 집계 메커니즘 도입: SEB를 통한 레이블 인식 특징 전파와 IGC를 통한 구조 보존을 별도로 처리.
• 백프로파게이션을 이용한 엔드 투 엔드 훈련에서 분류 및 스무딩 목표 모두에 대해 기울기를 계산하여 동시 최적화 가능.

(c) Graph convolution + IGC

실험 결과

연구 질문

• RQ1 전통적인 GSSL 방법과 현대적 GCNs 간의 최적화 역학은 레이블과 그래프 구조 측면에서 어떻게 다를까?
• RQ2 깊은 아키텍처를 가진 GCN은 왜 얕은 GSSL 방법과는 달리 과도한 스무딩에 취약한가?
• RQ3 통합 최적화 프레임워크가 클러스터 가정 기반 방법과 GCNs의 장점을 조화시킬 수 있는가?
• RQ4 지도 학습 블록(SEB)의 도입이 모델 복잡도 증가 없이 GCN 내 레이블 전파 성능을 향상시킬 수 있는가?
• RQ5 역그래프 컬러션(IGC) 연산자가 효과적으로 구조적 비유사성을 유지하고 GCN의 과도한 스무딩을 완화할 수 있는가?

주요 결과

• 표준 GCN은 각 레이어에서 분류 손실과 라플라시안 스무딩 손실을 동시에 최소화하지 않으며, 이는 과도한 스무딩에 취약한 이유를 설명한다.
• 제안된 OGC 방법은 저널 네트워크(Cora, PubMed, Citeseer)에서 최신 기준 성능을 달성하여 GCN, GAT, GCNII 대비 최대 2.1% 높은 정확도를 기록하였다.
• GGC 및 GGCM는 그래프 구조 보존에 뚜렷한 향상을 보였으며, GGCM은 이질적 그래프에서 SGC 및 S2GC 대비 F1 점수 1.8% 높게 기록하였다.
• IGC 연산자는 고역통과 필터 역할을 하여, 연결되지 않은 노드 간의 구조적 비유사성을 효과적으로 유지하며 이는 이질적 환경에서 매우 중요하다.
• SEB 및 IGC 연산자는 플러그인으로서 효과적이다: GCN 및 GCNII에 적용했을 때 과도한 스무딩을 감소시키고 평균적으로 정확도를 1.5% 향상시켰다.
• 아블레이션 연구 결과, 두 손실의 동시 최적화가 일반화 성능 향상에 기여하며, 특히 레이블이 적은 환경에서 두드러진다.

Figure 2: Classification performance w.r.t. layer number ( $x$ -axis: layer number).