[논문 리뷰] Unified Robust Training for Graph NeuralNetworks against Label Noise

Yayong Li, Jie Yin외 1명|arXiv (Cornell University)|2021. 03. 05.

Machine Learning and Data Classification참고 문헌 21인용 수 6

한 줄 요약

이 논문은 반도체 학습 설정에서 레이블 노이즈에 대한 강건한 그래프 신경망(GNN) 훈련을 위한 통합 프레임워크인 UnionNET을 제안한다. 구조적으로 근접한 노드의 레이블을 집계하기 위해 무작위 보행을 활용하여 노드 수준의 클래스 분포를 추정함으로써, UnionNET은 정제된 지도 학습이나 노이즈 전이 행렬 추정 없이도 동시에 샘플 재가중과 레이블 보정을 수행한다. 다양한 데이터셋과 노이즈 유형 및 비율에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Graph neural networks (GNNs) have achieved state-of-the-art performance for node classification on graphs. The vast majority of existing works assume that genuine node labels are always provided for training. However, there has been very little research effort on how to improve the robustness of GNNs in the presence of label noise. Learning with label noise has been primarily studied in the context of image classification, but these techniques cannot be directly applied to graph-structured data, due to two major challenges -- label sparsity and label dependency -- faced by learning on graphs. In this paper, we propose a new framework, UnionNET, for learning with noisy labels on graphs under a semi-supervised setting. Our approach provides a unified solution for robustly training GNNs and performing label correction simultaneously. The key idea is to perform label aggregation to estimate node-level class probability distributions, which are used to guide sample reweighting and label correction. Compared with existing works, UnionNET has two appealing advantages. First, it requires no extra clean supervision, or explicit estimation of the noise transition matrix. Second, a unified learning framework is proposed to robustly train GNNs in an end-to-end manner. Experimental results show that our proposed approach: (1) is effective in improving model robustness against different types and levels of label noise; (2) yields significant improvements over state-of-the-art baselines.

연구 동기 및 목표

• 레이블 노이즈 하에서 GNN에 대한 강건한 훈련 방법의 부족, 특히 라벨이 희소한 반도체 학습 설정에서의 문제를 해결하기 위해.
• 이미지 기반의 레이블 노이즈 보정 방법의 한계를 극복하기 위해, 라벨 희소성과 레이블 의존성으로 인해 그래프에서는 실패하는 기존 방법의 한계를 해결하기 위해.
• 정제된 데이터나 노이즈 전이 행렬 추정에 의존하지 않고도 동시에 샘플 재가중과 레이블 보정을 수행하는 통합 프레임워크를 개발하기 위해.
• 실제 그래프 데이터셋에서 대칭적이고 비대칭적인 레이블 노이즈 하에서도 GNN의 일반화 능력과 강건성을 향상시키기 위해.

제안 방법

• 구조적으로 근접한 노드의 레이블을 무작위 보행을 통해 집계하여 노드 수준의 클래스 확률 분포를 생성한다.
• 추정된 클래스 분포를 활용해 손실 함수 내 샘플 재가중을 이끌어내어 신뢰할 수 없는 레이블의 영향을 줄인다.
• 집계된 분포 기반으로 신뢰성이 떨어지는 레이블로 간주될 경우 기존 레이블을 예측된 확률로 대체함으로써 레이블 보정을 통합한다.
• 모델 파라미터, 샘플 재가중, 레이블 보정을 동시에 최적화하는 통합 목적 함수를 제안하여 엔드 투 엔드로 최적화한다.
• 고노이즈 환경에서 성능 저하를 방지하기 위해 레이블 보정을 정규화하기 위해 사전 분포 손실을 적용한다.
• 민감도 분 析를 통해 하이퍼파rameter α(재가중과 보정 간의 트레이드오프)와 β(레이블 집계의 스무딩 정도)를 조정한다.

실험 결과

연구 질문

• RQ1 정제된 지도 학습 없이도 통합 프레임워크가 동시에 GNN의 레이블 노이즈에 대한 강건성 향상과 효과적인 레이블 보정을 수행할 수 있는가?
• RQ2 무작위 보행을 통한 레이블 집계가 희소하고 노이즈가 많은 그래프 환경에서 신뢰성 추정에 어떻게 기여하는가?
• RQ3 고노이즈 그래프 환경에서 샘플 재가중과 레이블 보정 간의 최적 균형은 무엇인가?
• RQ4 하이퍼파rameter α와 β는 통합 훈련 프레임워크의 성능에 어떻게 영향을 미치는가?
• RQ5 레이블 보정이 항상 성능 향상에 기여하는가, 아니면 성능 저하가 발생할 수 있는 조건이 존재하는가?

주요 결과

• UnionNET는 대칭적이고 비대칭적인 레이블 노이즈 하에서 Cora, Citeseer, Pubmed에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존의 베이스라인을 모두 능가한다.
• 40% 대칭 노이즈가 있는 Cora에서 UnionNET-GCN은 정확도 0.491을 기록했고, 표준 GCN의 0.420보다 높다.
• 제거 실험 결과, 재가중 기능만 포함된 UnionNET-R는 항상 GCN보다 우수한 성능을 보였지만, 보정 기능이 포함된 UnionNET-RC는 사전 분포 손실에 의해 정규화되지 않은 한 고노이즈 환경에서는 성능이 열 劣한다.
• 하이퍼파rameter 분 析 결과, 중간 수준의 α와 β 값에서 최적 성능을 달성하며, 중간 길이의 무작위 보행에서 성능이 최고로 높아진다.
• Pubmed에서는 α = 1.0일 때 UnionNET가 가장 우수한 성능을 보였는데, 이는 강한 클러스터링과 적은 클래스 수로 인해 예측된 레이블이 더 신뢰할 수 있기 때문이다.
• 이 프레임워크는 다양한 GNN 아키텍처와 노이즈 유형에 대해 강건하며, 실제 그래프 학습 환경에서의 일반화 능력과 실용성을 입증한다.