[논문 리뷰] Graph Policy Network for Transferable Active Learning on Graphs

Shengding Hu, Zheng Xiong외 5명|arXiv (Cornell University)|2020. 06. 24.

Advanced Graph Neural Networks참고 문헌 33인용 수 24

한 줄 요약

이 논문은 그래프 신경망을 위한 강화학습 기반의 액티브 러닝 프레임워크인 그래프 정책 네트워크(GPA)를 제안한다. GPA는 GNN 기반 정책 네트워크를 통해 이식 가능한 쿼리 정책을 학습한다. 액티브 러닝을 마르코프 결정 과정(MDP)으로 공식화하고, 여러 개의 레이블이 부여된 소스 그래프에서 공동으로 훈련함으로써, 레이블이 없는 타겟 그래프로의 제로샷 전이를 달성하며, 동일 도메인 및 크로스 도메인 설정 모두에서 기존의 베이스라인들보다 뛰어나게 성능을 발휘한다. Reddit 토이 그래프에서 최대 90.41%의 마이크로-F1을 기록한다.

ABSTRACT

Graph neural networks (GNNs) have been attracting increasing popularity due to their simplicity and effectiveness in a variety of fields. However, a large number of labeled data is generally required to train these networks, which could be very expensive to obtain in some domains. In this paper, we study active learning for GNNs, i.e., how to efficiently label the nodes on a graph to reduce the annotation cost of training GNNs. We formulate the problem as a sequential decision process on graphs and train a GNN-based policy network with reinforcement learning to learn the optimal query strategy. By jointly training on several source graphs with full labels, we learn a transferable active learning policy which can directly generalize to unlabeled target graphs. Experimental results on multiple datasets from different domains prove the effectiveness of the learned policy in promoting active learning performance in both settings of transferring between graphs in the same domain and across different domains.

연구 동기 및 목표

• 의료 및 화학 분야와 같이 데이터가 부족한 도메인에서 GNN을 훈련시키는 데 드는 높은 레이블링 비용을 줄이기 위해.
• 기존의 그래프 액티브 러닝 방법에서 흔히 볼 수 있는 탐욕적이고 단기적인 선택 기준의 한계를 해결하기 위해.
• 그래프 구조 데이터에서 장기적인 성능 최적화와 노드 간 상호작용을 모델링하기 위해.
• 재훈련 없이도 다양한 그래프 간 일반화 가능한 이식 가능한 액티브 러닝 정책을 개발하기 위해.
• 레이블이 없는 타겟 그래프로의 제로샷 정책 전이를 가능하게 하기 위해.

제안 방법

• 액티브 러닝을 마르코프 결정 과정(MDP)으로 공식화하며, 상태는 현재 그래프 상태로 정의하고, 행동은 노드 선택이며, 보상은 GNN 성능 향상으로 정의한다.
• 행동 정책를 매개변수화하기 위해 GNN 기반 정책 네트워크를 사용하여, 노드 간 상호작용과 그래프 구조를 명시적으로 모델링한다.
• 장기적인 GNN 성능을 최대화하기 위해 정책 기반 강화학습을 적용하여, 대체 기준의 탐욕적 최적화를 피한다.
• 완전히 레이블이 부여된 여러 소스 그래프에서 정책 네트워크를 공동으로 훈련시켜 이식 가능한 전략을 학습한다.
• 재훈련 없이도 사전 훈련된 정책을 레이블이 없는 타겟 그래프에 직접 적용하여 제로샷 전이를 가능하게 한다.
• 노드 간 정보 전파를 위해 그래프 컨볼루션 연산을 통합하여, 정보성 평가의 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 강화학습 기반의 정책 네트워크는 그래프에서 장기적인 GNN 성능을 최적화하는 쿼리 전략을 학습할 수 있는가?
• RQ2 GNN 기반 정책은 노드 간 상호작용을 효과적으로 모델링하여 노드의 정보성 평가를 향상시킬 수 있는가?
• RQ3 여러 소스 그래프에서 훈련된 정책은 재훈련 없이도 레이블이 없는 타겟 그래프로 일반화될 수 있는가?
• RQ4 제안된 방법은 동일 도메인 및 크로스 도메인 설정 모두에서 히우리스틱 및 기존의 베이스라인 액티브 러닝 방법과 비교해 어떻게 성능을 내는가?
• RQ5 정책은 쿼리 선택 과정에서 그래프의 다양한 영역을 탐색하고, 클래스 균형을 유지하는가?

주요 결과

• GPA는 Reddit 토이 그래프에서 마이크로-F1 점수 90.41을 기록하여 AGE(86.35)와 중심성 기반 방법(84.13)을 앞서며 뛰어난 성능을 보였다.
• 정책은 기존의 방법이 고도수 노드에만 집중하는 것과 달리, 노드 10, 13, 15와 같이 정보가 부족한 영역을 성공적으로 탐색하였다.
• GPA는 쿼리 선택 과정에서 클래스 간 번갈아가며 선택함으로써, 같은 클래스에서 연속으로 선택하는 것을 피하는 전략을 학습하였다.
• 메서드는 도메인 간 전이 성능이 뛰어나 동일 도메인 및 크로스 도메인 액티브 러닝 설정 모두에서 일관된 성능 향상을 보였다.
• 재훈련 없이도 예측할 수 없는 그래프에 대해 효과적으로 일반화되며, 이는 정책의 이식 가능성과 강건성을 확인한다.
• 약물 발견 및 의료 분야와 같이 레이블링이 비용이 많이 들고 시간이 오래 걸리는 저자원 도메인에서 전문가 레이블링 의존도를 줄였다.