[논문 리뷰] Towards Robust Graph Neural Networks for Noisy Graphs with Sparse Labels

Enyan Dai, Wei Jin외 2명|arXiv (Cornell University)|2022. 01. 01.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

이 논문은 노이즈 있는 간선을 보조 지도로 활용하여 잡음 제거 및 간선 밀도 증가를 통해 메시지 전파를 향상시키는 강건한 그래프 신경망 프레임워크인 RS-GNN을 제안한다. 링크 예측을 통한 그래프 정제와 레이블 부드러움 정규화를 결합함으로써 RS-GNN은 노이즈가 많고 레이블이 적은 그래프에서 최신 기술 성능을 달성하였으며, Cora에서 15% Metattack 변형 조건 하에 기준 모델 대비 정확도 향상 폭이 최대 11.5%에 이르렀다.

ABSTRACT

Graph Neural Networks (GNNs) have shown their great ability in modeling graph structured data. However, real-world graphs usually contain structure noises and have limited labeled nodes. The performance of GNNs would drop significantly when trained on such graphs, which hinders the adoption of GNNs on many applications. Thus, it is important to develop noise-resistant GNNs with limited labeled nodes. However, the work on this is rather limited. Therefore, we study a novel problem of developing robust GNNs on noisy graphs with limited labeled nodes. Our analysis shows that both the noisy edges and limited labeled nodes could harm the message-passing mechanism of GNNs. To mitigate these issues, we propose a novel framework which adopts the noisy edges as supervision to learn a denoised and dense graph, which can down-weight or eliminate noisy edges and facilitate message passing of GNNs to alleviate the issue of limited labeled nodes. The generated edges are further used to regularize the predictions of unlabeled nodes with label smoothness to better train GNNs. Experimental results on real-world datasets demonstrate the robustness of the proposed framework on noisy graphs with limited labeled nodes.

연구 동기 및 목표

• 실제 그래프에서 구조적 노이즈와 제한된 레이블을 가진 환경에서 강건한 그래프 신경망(GNN)을 훈련하는 데 있어 핵심 과제를 해결한다.
• 노이즈 있는 간선과 레이블 희소성이 메시지 전파 메커니즘을 손상시켜 GNN 성능을 떨어뜨린다는 점을 규명한다.
• 노이즈 제거와 레이블 희소성 동시 완화를 위한 통합 프레임워크를 개발한다.
• 노이즈가 있는 그래프의 내재된 구조를 보조 지도로 활용하여, 신뢰할 수 있는 잡음 제거 및 밀도 증가된 그래프를 생성하는 링크 예측기를 훈련시켜 메시지 전파를 향상시킨다.
• 생성된 그래프에 레이블 부드러움 정규화를 도입하여 미레이블된 노드를 더 효과적으로 활용하고, 레이블 부족 조건 하에서 일반화 성능을 향상시킨다.

제안 방법

• 노드 특징을 사용하여 링크 예측기를 훈련시켜 그래프를 재구성하며, 유사하지 않은 노드 간 간선에는 낮은 가중치를, 유사한 노드 간 간선에는 높은 가중치를 할당한다(노이즈를 나타냄).
• 링크 예측기의 출력을 활용하여 잡음 제거 및 간선 밀도 증가된 그래프를 생성함으로써, 노이즈 간선을 제거하거나 가중치를 낮추고, 타당한 누락된 간선을 추가한다.
• 생성된 그래프를 GNN 훈련 과정의 정규화 요소로 활용하여, 미레이블된 노드에 대한 메시지 전파 및 표현 학습을 향상시킨다.
• 생성된 그래프의 예측 구조에 레이블 부드러움 정규화를 통합하여 연결된 노드 간 일관된 예측을 유도하고 일반화 성능을 향상시킨다.
• 링크 예측 손실(하이퍼파rameter α)과 레이블 부드러움 손실(하이퍼파rameter β)을 조합한 공동 목적 함수를 최적화하여 그래프 재구성과 예측 정확도 간 균형을 이룬다.
• 링크 예측기로 GNN(예: GCN)을 사용하지만, 적대적 간선이 성능을 떨어뜨려 강건한 훈련 전략의 필요성을 입증한다.

실험 결과

연구 질문

• RQ1 표준 GNN이 반도체 노출된 노드 분류에서 노이즈 있는 간선과 레이블 희소성이 함께 성능을 어떻게 저하시키는가?
• RQ2 그래프 내 노이즈 간선를 보조 지도로 활용하여 잡음 제거 및 간선 밀도 증가된 그래프를 학습시킬 수 있는가?
• RQ3 생성된 그래프에 대한 간선 밀도 증가와 레이블 부드러움 정규화가 레이블 희소성의 영향을 어느 정도 완화하는가?
• RQ4 제안된 RS-GNN 프레임워크는 하이퍼파rameter α(링크 예측 손실 가중치)와 β(레이블 부드러움 손실 가중치)에 대해 얼마나 민감한가?
• RQ5 적대적 공격 조건과 다양한 레이블 비율 하에서 RS-GNN은 기존 방법과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 15% Metattack 변형 조건 하에서 레이블이 10% 뿐인 Cora에서 RS-GNN은 테스트 정확도 71.2%를 기록하며, 다음으로 우수한 기준 모델보다 11.5%포인트 높은 성능을 보였다.
• 제거 실험 결과, 그래프 밀도 증가(_RS-GNN\A) 또는 레이블 부드러움(_RS-GNN\U)를 제거할 경우 성능 저하가 심각하게 발생하여, 두 구성 요소가 필수적임을 확인했다.
• 링크 예측기로 GCN을 사용한 변형(_RS-GNN GCN)은 성능이 열악하여, 적대적 간선이 GNN 성능을 떨어뜨리고 링크 예측 정확도를 악화시킴을 입증했다.
• 레이블 비율이 증가함에 따라 RS-GNN과 RS-GNN\U 간 성능 격차가 좁아지며, 레이블 희소성이 이 방법의 효과성의 주요 원인임을 확인했다.
• 하이퍼파rameter 민감도 분석 결과, α는 신중히 조정되어야 하며, 변형된 그래프에서 너무 높은 값은 노이즈에 과적합되어 성능 저하를 초래함을 보였다.
• 최적의 β 범위(0.03–0.3)는 다양한 데이터셋에서 강건한 성능을 제공하여 하이퍼파rameter 선택을 용이하게 하고 실용성 향상에 기여했다.