[논문 리뷰] Effective Stabilized Self-Training on Few-Labeled Graph Data

Ziang Zhou, Shi, Jieming외 3명|arXiv (Cornell University)|2019. 10. 07.

Advanced Graph Neural Networks참고 문헌 62인용 수 6

한 줄 요약

이 논문은 극도로 낮은 레이블 수준에서 그래프 신경망(GNNs)의 성능을 향상시키기 위해 고신뢰도 가짜 레이블을 반복적으로 추가하면서 저신뢰도 레이블을 걸러내는 Stabilized Self-Training(SST) 프레임워크를 제안한다. SST는 훈련의 안정성과 정확도를 향상시키며, 클래스당 라벨이 1개 뿐인 Cora에서 62.5%와 66.4%의 테스트 정확도를 기록하여, 각각 GCN과 DAGNN보다 17.9%, 6.6% 높다.

ABSTRACT

Graph neural networks (GNNs) are designed for semi-supervised node classification on graphs where only a subset of nodes have class labels. However, under extreme cases when very few labels are available (e.g., 1 labeled node per class), GNNs suffer from severe performance degradation. Specifically, we observe that existing GNNs suffer from unstable training process on few-labeled graphs, resulting to inferior performance on node classification. Therefore, we propose an effective framework, Stabilized Self-Training (SST), which is applicable to existing GNNs to handle the scarcity of labeled data, and consequently, boost classification accuracy. We conduct thorough empirical and theoretical analysis to support our findings and motivate the algorithmic designs in SST. We apply SST to two popular GNN models GCN and DAGNN, to get SSTGCN and SSTDA methods respectively, and evaluate the two methods against 10 competitors over 5 benchmarking datasets. Extensive experiments show that the proposed SST framework is highly effective, especially when few labeled data are available. Our methods achieve superior performance under almost all settings over all datasets. For instance, on a Cora dataset with only 1 labeled node per class, the accuracy of SSTGCN is 62.5%, 17.9% higher than GCN, and the accuracy of SSTDA is 66.4%, which outperforms DAGNN by 6.6%.

연구 동기 및 목표

• 클래스당 라벨이 1개 뿐일 때 GNN의 심각한 성능 저하 문제를 해결한다.
• 극도로 낮은 레이블 수준에서 기존 GNN(예: GCN, DAGNN)의 불안정한 훈련 동역학을 규명한다.
• 기존 GNN에 적용 가능한 안정적이고 일반화 가능한 자기학습 프레임워크를 개발하여, 소수의 레이블 설정에서의 노드 분류 성능을 향상시킨다.
• 표준 자기학습에서 흔한 균형 잡히지 않은 가짜 레이블 문제를 완화하기 위해 저신뢰도 예측을 걸러내는 방법을 도입한다.

제안 방법

• 고신뢰도 예측 레이블을 선택적으로 훈련 세트에 가짜 레이블로 추가하는 안정화된 자기학습 프레임워크(SST)를 도입한다.
• 저신뢰도 예측을 걸러내기 위해 신뢰도 임계값 η를 정의한다. 이는 오직 신뢰할 수 있는 가짜 레이블만 사용되도록 보장한다.
• 이론적 분석을 통해 고신뢰도 가짜 레이블이 레이블 분포를 균형 잡히게 하여 분류 오차를 감소시킨다는 것을 증명한다.
• SST를 GCN과 DAGNN에 적용하여, 훈련을 안정화하고 일반화 성능을 향상시키는 SSTGCN과 SSTDA를 도출한다.
• 비라벨 노드에 대해 균일한 샘플링을 적용하여 레이블 예측의 신뢰도에 대한 확률적 경계를 유도한다.
• 이론적 경계(Lemmas 1–3)를 활용하여 선택된 가짜 레이블이 통계적으로 신뢰할 수 있으며 오류 전파를 줄일 수 있음을 보장한다.

실험 결과

연구 질문

• RQ1 왜 기존의 GNN(GCN, DAGNN 등)은 클래스당 라벨이 1개 뿐일 때 실패하는가?
• RQ2 소수의 라벨 노드만 존재할 때 GNN에서 불안정한 훈련이 어떻게 나타나는가?
• RQ3 구조적 변경 없이 자기학습을 안정화시켜 소수의 레이블 환경에서 성능을 향상시킬 수 있는가?
• RQ4 가짜 레이블이 균형 잡히지 않거나 낮은 신뢰도로 인해 성능을 떨어뜨리지 않도록 보장하기 위한 기준은 무엇인가?
• RQ5 제안된 SST 프레임워크는 기존의 자기학습 및 GNN 방법과 정확도와 안정성 측면에서 어떻게 비교되는가?

주요 결과

• 클래스당 라벨이 1개인 Cora에서 SSTGCN는 62.5%의 테스트 정확도를 기록하여 GCN보다 17.9% 높다.
• 동일한 설정에서 SSTDA는 66.4%의 정확도를 기록하여 DAGNN보다 6.6% 높다.
• 실험 결과, SST는 런에 따른 예측 레이블 분포의 분산을 크게 감소시켜 훈련의 안정성이 향상됨을 보여준다.
• 이론적 분석을 통해 고신뢰도 가짜 레이블이 정확한 예측 확률의 하한을 보장함으로써 분류 오차를 감소시킨다는 것이 확인되었다.
• SST는 5개의 벤치마크 데이터셋과 10개의 경쟁자에 대해 전반적으로 뛰어난 성능을 유지하며, 특히 낮은 레이블 환경에서 두각을 나타낸다.
• 저신뢰도 가짜 레이블을 걸러내는 것은 오류 전파를 방지하고, 표준 자기학습에서 흔한 레이블 불균형 문제를 완화한다.