[논문 리뷰] Weakly-supervised Graph Meta-learning for Few-shot Node Classification.

Kaize Ding, Jianling Wang외 3명|arXiv (Cornell University)|2021. 06. 12.

Advanced Graph Neural Networks참고 문헌 50인용 수 5

한 줄 요약

이 논문은 노이즈가 많은 약한 레이블 데이터에서 깨끗한 노드 표현을 환영함으로써 강건성을 향상시키는 약한 지도 학습 기반 그래프 메타학습 프레임워크인 Meta-GHN을 제안한다. 강건한 에피소드 기반 훈련을 통해 Meta-GHN은 이전 방법들보다 훨씬 뛰어난 성능을 보이며, 레이블 노이즈 하에 소수의 예측 노드 분류에서 성능을 높인다.

ABSTRACT

Graphs are widely used to model the relational structure of data, and the research of graph machine learning (ML) has a wide spectrum of applications ranging from drug design in molecular graphs to friendship recommendation in social networks. Prevailing approaches for graph ML typically require abundant labeled instances in achieving satisfactory results, which is commonly infeasible in real-world scenarios since labeled data for newly emerged concepts (e.g., new categorizations of nodes) on graphs is limited. Though meta-learning has been applied to different few-shot graph learning problems, most existing efforts predominately assume that all the data from those seen classes is gold-labeled, while those methods may lose their efficacy when the seen data is weakly-labeled with severe label noise. As such, we aim to investigate a novel problem of weakly-supervised graph meta-learning for improving the model robustness in terms of knowledge transfer. To achieve this goal, we propose a new graph meta-learning framework -- Graph Hallucination Networks (Meta-GHN) in this paper. Based on a new robustness-enhanced episodic training, Meta-GHN is meta-learned to hallucinate clean node representations from weakly-labeled data and extracts highly transferable meta-knowledge, which enables the model to quickly adapt to unseen tasks with few labeled instances. Extensive experiments demonstrate the superiority of Meta-GHN over existing graph meta-learning studies on the task of weakly-supervised few-shot node classification.

연구 동기 및 목표

• 골드 표준 레이블이 확보되지 않은 실제 환경에서 레이블 데이터가 부족하고 노이즈가 심한 상황에서 소수의 예측 노드 분류 문제를 해결하기 위해.
• 골드 레이블 지도 학습을 가정하는 대신 약한 레이블 데이터에서 학습함으로써 지식 전이의 강건성을 향상시키기 위해.
• 노이즈가 많은 레이블에서 깨끗한 노드 표현을 환영함으로써, 최소한의 레이블 예시로도 새로운 작업에 효과적으로 적응할 수 있는 메타학습 프레임워크를 개발하기 위해.
• 완벽한 지도 학습을 가정하는 기존 메타학습 방법들과 실제 그래프 구조 데이터에서 심각한 레이블 노이즈가 존재하는 환경 사이의 격차를 메우기 위해.

제안 방법

• Meta-GHN은 레이블 노이즈에 강건한 표현을 메타학습하기 위해 새로운 강건한 에피소드 기반 훈련 파라다임을 활용한다.
• 메타학습 중에 약한 레이블이 부여된 입력 데이터로부터 깨끗한 노드 임베딩을 생성하는 그래프 환영 모듈을 도입한다.
• 에피소드 적응 기간 동안 다양한 소수의 예측 작업에 대한 일반화 성능을 최적화함으로써, 이식 가능한 메타지식을 학습한다.
• 관계적 인덕티브 바이어스를 인코딩하기 위해 그래프 신경망 백본을 활용하고, 표현 품질 향상을 위해 대비 학습 목표를 결합한다.
• 에피소드 샘플링과 메타최적화를 번갈아가며 훈련하며, 모델은 자기 일관성에 기반해 노이즈가 있는 지도 학습을 수정하도록 학습한다.
• 합성 및 실제 약한 레이블이 부여된 소수의 예측 작업에서 메타손실을 최소화하기 위해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 약한 레이블이 노이즈가 심한 데이터로 훈련될 때 그래프 메타학습 프레임워크가 소수의 예측 노드 분류에 효과적으로 일반화할 수 있는가?
• RQ2 노이즈가 많은 레이블에서 깨끗한 표현을 환영함으로써 그래프 학습에서 메타지식 전이가 어떻게 향상되는가?
• RQ3 표준 메타학습 접근 방식에 비해 강건한 에피소드 기반 훈련이 레이블 불확실성 하에서 모델 일반화 능력을 얼마나 향상시키는가?
• RQ4 제안된 프레임워크는 다양한 그래프 구조와 레이블 노이즈 수준에서도 성능 향상을 유지하는가?

주요 결과

• Meta-GHN은 약한 지도 학습 기반 소수의 예측 노드 분류 벤치마크에서 최신 기술 성능을 달성하며, 기존 그래프 메타학습 방법들을 능가한다.
• 모델은 레이블 노이즈에 매우 강건하여 지도 학습이 심각하게 손상된 상태에서도 높은 정확도를 유지한다.
• 절단 실험 결과, 환영 모듈이 표현 품질과 일반화 능력을 크게 향상시킨다는 것이 확인되었다.
• 강건한 에피소드 기반 훈련 방식은 표준 메타학습 베이스라인 대비 더 안정적이고 이식 가능한 메타지식을 생성한다.
• 다양한 데이터셋과 노이즈 수준에서 잘 일반화되므로, 실제 환경에서 넓은 적용 가능성을 보여준다.