[논문 리뷰] RIM: Reliable Influence-based Active Learning on Graphs

Wentao Zhang, Yexin Wang외 6명|arXiv (Cornell University)|2021. 10. 28.

Advanced Graph Neural Networks인용 수 10

한 줄 요약

이 논문은 그래프 신경망을 위한 새로운 주의적 학습 방법인 RIM을 제안한다. RIM은 영향력 최대화와 레이블 품질 추정을 통합하여 정보성 있고 신뢰할 수 있는 노드를 선택한다. 영향력의 양과 품질을 모두 모델링함으로써, 최신 기법인 GPA와 비교해 2.2%~5.1% 높은 정확도를 달성하고, 특히 노이즈가 많은 레이블링 조건에서 최대 18,652배 빠른 런타임을 기록한다.

ABSTRACT

Message passing is the core of most graph models such as Graph Convolutional Network (GCN) and Label Propagation (LP), which usually require a large number of clean labeled data to smooth out the neighborhood over the graph. However, the labeling process can be tedious, costly, and error-prone in practice. In this paper, we propose to unify active learning (AL) and message passing towards minimizing labeling costs, e.g., making use of few and unreliable labels that can be obtained cheaply. We make two contributions towards that end. First, we open up a perspective by drawing a connection between AL enforcing message passing and social influence maximization, ensuring that the selected samples effectively improve the model performance. Second, we propose an extension to the influence model that incorporates an explicit quality factor to model label noise. In this way, we derive a fundamentally new AL selection criterion for GCN and LP--reliable influence maximization (RIM)--by considering quantity and quality of influence simultaneously. Empirical studies on public datasets show that RIM significantly outperforms current AL methods in terms of accuracy and efficiency.

연구 동기 및 목표

• 그래프 구조 데이터의 노드 레이블링에 높은 레이블링 비용과 오류 발생 가능성이 존재하는 문제를 해결한다.
• 노드 선택을 영향력 최대화로 간주함으로써 GCN의 메시지 전파와 주의적 학습을 통합한다.
• 각 레이블의 신뢰성을 추정하는 품질 요소를 도입하여 레이블 노이즈를 명시적으로 모델링한다.
• 영향력의 양과 품질을 균형 잡는 새로운 선택 기준을 개발하여 노이즈가 많은 레이블 조건 하에서도 모델 성능을 향상시킨다.
• 딥 러닝 모델이나 GPU 가속에 의존하지 않고도 높은 효율성과 강건성을 확보한다.

제안 방법

• GCN 또는 LP에서 메시지 전파를 통해 레이블이 부여된 노드가 다른 노드의 출력 특성 또는 레이블에 미치는 영향의 정도로 노드의 영향력을 정의한다.
• 각 노드의 레이블이 올바를 확률을 나타내는 품질 요소를 도입하며, 이를 그래프 간선을 따라 특성/레이블 스무딩을 통해 추정한다.
• 영향력의 양과 품질을 동시에 최적화하는 신뢰할 수 있는 영향력 최대화(RIM) 목적함수를 제안하여, 높은 품질의 영향력만이 퍼지도록 보장한다.
• 하나의 탐욕적 근사 알고리즘을 사용하여 신뢰할 수 있는 영향력을 최대화하며, 하위모듈라리티를 활용해 (1−1/e) 근사 비율을 확보한다.
• 이미 선택된 노드들로부터 신뢰도를 전파함으로써 그래프 구조와 특성 유사도를 이용해 레이블 품질을 재귀적으로 추정한다.
• 학습이 필요 없는 가벼운 프레임워크를 설계하여 깊은 모델 학습을 피하고, CPU와 GPU 모두에서 고속 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 노드 선택을 영향력 최대화로 간주함으로써 그래프 모델의 주의적 학습을 메시지 전파와 통합할 수 있는가?
• RQ2 메시지 전파 중 잘못된 레이블이 퍼지는 것을 방지하기 위해 레이블 노이즈를 명시적으로 모델링할 수 있는가?
• RQ3 영향력의 양과 품질을 조합한 지표가 기존 방법보다 더 나은 주의적 학습 성능을 이끌 수 있는가?
• RQ4 다양한 수준의 레이블 노이즈와 데이터셋 규모에서 RIM의 정확도와 효율성은 어떻게 평가되는가?
• RQ5 기존 기준들과 비교해 RIM은 노드 활성화 패턴에서 해석 가능성과 강건성을 유지하는가?

주요 결과

• 레이블 정확도가 70%일 때, 공개 데이터셋에서 RIM은 PTA와 같은 노이즈 방지 메커니즘을 갖추고도 GPA보다 2.2%~5.1% 더 높은 예측 정확도를 달성한다.
• GPU에서는 RIM이 GPA 대비 최대 4,670배 빠른 속도를 기록했고, CPU에서는 최대 18,652배 빠른 속도를 기록하여 놀라운 효율성을 입증한다.
• 30%의 레이블 노이즈 조건에서도 RIM은 강력한 성능을 유지하며, 노이즈 조건에서 심각하게 성능이 저하되는 기준 기법들을 능가한다.
• 해석 가능성 분석 결과, RIM은 AGE 및 RIM (No RS)보다 더 많은 노드를 정확하게 활성화하고, 노이즈가 있는 레이블로 인한 잘못된 활성화를 줄였다.
• 신뢰할 수 있는 영향력 최대화 목적함수는 하위모듈라리티를 만족하므로, (1−1/e) 근사 보장을 갖는 탐욕적 알고리즘을 적용할 수 있다.
• RIM은 Cora, PubMed, Reddit 등 다양한 데이터셋에서 높은 정확도와 빠른 속도 향상을 일관되게 기록했으며, 스케일에 관계없이 안정적인 성능 향상을 보였다.