[논문 리뷰] Information Gain Propagation: a new way to Graph Active Learning with Soft Labels

Wentao Zhang, Yexin Wang외 6명|arXiv (Cornell University)|2022. 03. 02.

Machine Learning and Algorithms인용 수 6

한 줄 요약

이 논문은 정보량 전파(IGP)를 제안하며, 이는 전문가가 예측된 레이블을 확인하는 데서만 참여하고 정확한 클래스를 할당하지 않는 '유연한 쿼리'와 소프트 레이블을 사용하여 레이블링 비용을 줄이는 새로운 그래프 주도 학습 프레임워크이다. 그래프 전역에서 정보량 전파를 최대화함으로써, IGP는 특히 다수 클래스 문제에서 정확도와 효율성 면에서 최신 GNN 기반 주도 학습 방법들을 크게 능가한다.

ABSTRACT

Graph Neural Networks (GNNs) have achieved great success in various tasks, but their performance highly relies on a large number of labeled nodes, which typically requires considerable human effort. GNN-based Active Learning (AL) methods are proposed to improve the labeling efficiency by selecting the most valuable nodes to label. Existing methods assume an oracle can correctly categorize all the selected nodes and thus just focus on the node selection. However, such an exact labeling task is costly, especially when the categorization is out of the domain of individual expert (oracle). The paper goes further, presenting a soft-label approach to AL on GNNs. Our key innovations are: i) relaxed queries where a domain expert (oracle) only judges the correctness of the predicted labels (a binary question) rather than identifying the exact class (a multi-class question), and ii) new criteria of maximizing information gain propagation for active learner with relaxed queries and soft labels. Empirical studies on public datasets demonstrate that our method significantly outperforms the state-of-the-art GNN-based AL methods in terms of both accuracy and labeling cost.

연구 동기 및 목표

• 도메인 전문가로부터 비용이 많이 드는 정확한 하드 레이블에 의존하는 것을 줄임으로써 GNN 학습의 높은 레이블링 비용 문제를 해결하기 위해.
• 전문가가 정확한 클래스를 할당하는 대신 모델의 예측 레이블을 확인하는 데서만 참여하는 '유연한 쿼리'를 지원하는 새로운 GNN 주도 학습 파라다임을 설계하기 위해.
• 소프트 레이블과 유연한 쿼리 하에서 그래프 전역에 걸쳐 정보량 전파를 최대화하는 데 초점을 맞춘 새로운 노드 선택 기준을 개발하기 위해.
• 제안된 방법이 다양한 GNN 아키텍처와 그래프 데이터셋에 걸쳐 일반화되며 기존 베이스라인에 비해 정확도와 레이블링 효율성 면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 오라클가 진짜 클래스를 특정하는 대신 모델의 상위-p 예측 클래스를 확인하도록 요청하는 유연한 쿼리를 도입하여, 다중 클래스 문제를 이진 분류 문제로 전환한다.
• 예측 레이블이 잘못되었을 경우 나머지 클래스에 대해 모델의 소프트맥스 출력을 재정규화하는 소프트 레이블 생성 방법을 제안하여 확률적 신뢰도를 유지한다.
• 예상 정보량 전파(IGP) 기반의 새로운 노드 선택 기준을 개발하여, 이웃의 미레이블링된 노드들에 대한 불확실성 감소를 최대화하는 노드를 선택한다.
• 각 레이블링된 노드가 이웃 영역의 불확실성 감소에 기여하는 정도를 고려하여 影향 크기(influence magnitude)를 통합하여 영향력이 큰 노드를 우선순위에 올린다.
• 소프트 레이블을 활용해 GNN의 미세조정 과정에서 정보성 학습을 수행함으로써 모델의 일반화 능력을 향상시킨다.
• 고도수 노드에 대한 편향을 방지하기 위해 소프트 레이블을 정규화하여 공정하고 효과적인 정보 전파를 보장한다.

실험 결과

연구 질문

• RQ1 전문가가 모델 예측을 확인하기만 하는 유연한 쿼리가 GNN 기반 주도 학습에서 레이블링 부담을 크게 줄일 수 있는가?
• RQ2 그래프 전역에서 정보량 전파를 최대화하는 것이 단일 노드 불확실성 샘플링보다 더 나은 모델 성능을 이끌어내는가?
• RQ3 하드 레이블 대비 소프트 레이블 사용이 모델 정확도와 레이블링 효율성에 어떤 영향을 미치는가?
• RQ4 제안된 IGP 방법이 다양한 GNN 아키텍처와 그래프 데이터셋에 걸쳐 얼마나 잘 일반화되는가?
• RQ5 IGP 프레임워크의 구성 요소들(예: 정보성 선택, 소프트 레이블 정규화 등) 중 성능에 가장 중요한 요소는 무엇인가?

주요 결과

• IGP는 PubMed 데이터셋에서 최신 GNN 기반 주도 학습 방법보다 테스트 정확도에서 1.8% 이상 높은 성능을 기록하여 뚜렷한 성능 향상을 입증했다.
• Cora 데이터셋에서 IGP는 86.4% (±0.6)의 테스트 정확도를 달성했으며, 정보량 전파 전파를 고려하지 않은 경우 기준선 대비 2.5% 높은 성능을 보였다.
• 제거 실험 결과, 정보성 학습 또는 선택 기준을 제거할 경우 성능 저하가 가장 심각했으며, PubMed에서 최대 2.9%까지 감소함을 확인하여 이들이 모델 성능에 핵심적인 역할을 한다는 것을 입증했다.
• MVGRL을 포함한 다양한 GNN 아키텍처에 걸쳐 잘 일반화되며, ALG 및 GRAIN과 같은 기존 베이스라인에 비해 일관되게 향상된 성능을 보였다.
• 정규화된 소프트 레이블과 영향력 크기 가중치는 성능에 필수적이며, 이를 제거할 경우 특히 고도수 노드 편향 상황에서 심각한 정확도 저하가 발생했다.
• 시각화 결과 IGP는 소프트 및 하드 레이블 노드가 그래프 전역에 더 균형 있게 분포함을 보여주었으며, 이는 더 넓은 범위의 불확실성 감소와 더 나은 일반화를 가능하게 했다.