[논문 리뷰] Toward Robust Graph Semi-Supervised Learning against Extreme Data Scarcity

Kaize Ding, Elnaz Nouri외 3명|arXiv (Cornell University)|2022. 08. 26.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 극도로 낮은 데이터 가용성 하에서 그래프 자기학습 프레임워크인 AGST를 제안한다. AGST는 구조적 및 의미적 데이터 증강 모듈을 도입하여 준지도 학습 노드 분류의 정확도를 향상시킨다. 메시지 전파를 분리하고, 노이즈 감소 및 장거리 특징 전파 향상을 위해 위상 증강 함수를 사용함으로써, AGST는 최신 기준 성능을 달성하며, 저샷 벤치마크에서 기준 모델 대비 최대 3.2%의 정확도 향상을 기록한다.

ABSTRACT

The success of graph neural networks on graph-based web mining highly relies on abundant human-annotated data, which is laborious to obtain in practice. When only few labeled nodes are available, how to improve their robustness is a key to achieve replicable and sustainable graph semi-supervised learning. Though self-training has been shown to be powerful for semi-supervised learning, its application on graph-structured data may fail because (1) larger receptive fields are not leveraged to capture long-range node interactions, which exacerbates the difficulty of propagating feature-label patterns from labeled nodes to unlabeled nodes; and (2) limited labeled data makes it challenging to learn well-separated decision boundaries for different node classes without explicitly capturing the underlying semantic structure. To address the challenges of capturing informative structural and semantic knowledge, we propose a new graph data augmentation framework, AGST (Augmented Graph Self-Training), which is built with two new (i.e., structural and semantic) augmentation modules on top of a decoupled GST backbone. In this work, we investigate whether this novel framework can learn a robust graph predictive model under the low-data context. We conduct comprehensive evaluations on semi-supervised node classification under different scenarios of limited labeled-node data. The experimental results demonstrate the unique contributions of the novel data augmentation framework for node classification with few labeled data.

연구 동기 및 목표

• 이니셜 레이블이 극도로 적은 상황에서 그래프 준지도 학습의 일반화 능력 저하 문제를 해결한다.
• 장거리 메시지 전파에서 과도한 압축과 노이즈가 있는 그래프 구조로 인한 구조적 한계를 극복한다.
• 낮은 데이터 환경에서 신뢰할 수 없는 가짜 레이블로 인한 의미적 한계를 줄이고, 잘 분리된 결정 경계를 포착함으로써 성능을 향상시킨다.
• 자기학습 과정에서 구조적 지식과 의미적 지식의 활용을 동시에 향상시키는 견고한 프레임워크를 설계한다.
• 인간 레이블링 데이터가 제한된 현실 세계 시나리오에서 모델의 견고성과 성능을 향상시킨다.

제안 방법

• 교사 모델이 개인화된 페이지랭크를 사용해 고차원 레이블 전파를 수행함으로써 가짜 레이블을 생성하는 분리된 GNN 백본을 제안한다.
• 각 GST 반복에서 노이즈 감소 및 장거리 정보 흐름 향상을 위해 결정론적 위상 정밀화 함수를 적용하는 구조적 데이터 증강 모듈을 도입한다.
• 같은 가짜 레이블을 가진 노드의 특징 클러스터링을 장려함으로써 의미 지식을 향상시키기 위해 약한 지도 학습 기반의 대비 손실을 활용한다.
• 학습된 모델 신뢰도에 기반해 간선을 동적으로 추가/제거함으로써 그래프 구조를 동적으로 조정하는 위상 증강 함수를 사용한다. 하이퍼파rameter βₐ와 βᵣ는 간선 추가 및 제거 비율을 제어한다.
• 가짜 레이블 노드에 대한 교차 엔트로피 손실과 대비 손실을 가중치가 부여된 목적 함수에 통합하며, 하이퍼파rameter λ₁과 λ₂를 통해 지도 신호와 대비 신호의 균형을 조절한다.
• 구조적 증강과 의미적 증강을 통합한 AGST 프레임워크를 설계하여 극도로 낮은 데이터 가용성 하에서도 일반화 성능을 향상시킨다.

Figure 1. Overview of the proposed framework. In each training iteration, AGST first perform high-order label propagation to generate pseudo labels on unlabeled nodes, then conduct feature transformation with the augmented training label set. In the meantime, a weakly-supervised contrastive loss is

실험 결과

연구 질문

• RQ1 위상 구조를 정밀화하는 구조적 데이터 증강이 저데이터 그래프 준지도 학습에서 장거리 메시지 전파를 향상시키고 과도한 압축 현상을 줄일 수 있는가?
• RQ2 레이블 데이터가 극도로 제한된 상황에서 약한 지도 학습 기반의 대비 학습이 결정 경계의 분리도를 향상시킬 수 있는가?
• RQ3 제안된 구조적 및 의미적 증강 구성 요소가 데이터 부족 상황에서 개별적으로나 함께 모델의 견고성에 어떤 기여를 하는가?
• RQ4 다양한 저샷 그래프 벤치마크에서 최적의 성능을 내는 하이퍼파rameter 설정(예: λ₁, λ₂, βₐ, βᵣ)은 무엇인가?
• RQ5 AGST는 극도로 낮은 데이터 가용성 하에서 기존의 GST 기준 모델 대비 정확도와 안정성 측면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• AGST는 Cora와 CiteSeer에서 최신 기준 성능을 달성하며, 5-shot 설정에서 가장 강력한 기준 모델 대비 최대 3.2%의 정확도 향상을 기록한다.
• Cora(5-shot)에서 AGST는 82.57±0.22%의 정확도를 기록했으며, 다음으로 우수한 방법보다 1.8% 높은 성능을 보였다.
• CiteSeer(5-shot)에서 AGST는 71.52±0.11%의 정확도를 달성하여 기준 모델 대비 1.1% 향상된 성능을 보였다.
• 제거 실험 결과, 약한 지도 학습 기반의 대비 손실과 위상 증강 함수가 모두 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 성능이 크게 떨어졌다.
• 최적의 하이퍼파rameter 값은 λ₁=1 및 λ₂=0.1이며, βₐ≈0.4 및 βᵣ≈0.2는 Cora에서 최고 성능을 내는 데 기여했다.
• 위상 증강은 CiteSeer와 같은 노이즈가 많은 그래프에서 최대 2.5%의 성능 향상을 이끌어내어, 구조적 노이즈 완화에 효과적임을 입증했다.

(a) Cora