[논문 리뷰] Policy-GNN: Aggregation Optimization for Graph Neural Networks

Kwei-Herng Lai, Daochen Zha외 2명|arXiv (Cornell University)|2020. 06. 26.

Advanced Graph Neural Networks참고 문헌 42인용 수 5

한 줄 요약

Policy-GNN는 그래프 신경망에서 각 노드에 대한 집계 반복 수를 적응적으로 결정하기 위해 딥 강화학습을 사용하는 메타정책 프레임워크를 제안한다. 이는 노드 분류 성능을 햖을 수 있다. 경험 재생과 파라미터 공유를 통해 노드별로 맞춤화된 집계 전략을 학습함으로써, 세 가지 실생활 벤치마크에서 최신 기법들을 능가한다.

ABSTRACT

Graph data are pervasive in many real-world applications. Recently, increasing attention has been paid on graph neural networks (GNNs), which aim to model the local graph structures and capture the hierarchical patterns by aggregating the information from neighbors with stackable network modules. Motivated by the observation that different nodes often require different iterations of aggregation to fully capture the structural information, in this paper, we propose to explicitly sample diverse iterations of aggregation for different nodes to boost the performance of GNNs. It is a challenging task to develop an effective aggregation strategy for each node, given complex graphs and sparse features. Moreover, it is not straightforward to derive an efficient algorithm since we need to feed the sampled nodes into different number of network layers. To address the above challenges, we propose Policy-GNN, a meta-policy framework that models the sampling procedure and message passing of GNNs into a combined learning process. Specifically, Policy-GNN uses a meta-policy to adaptively determine the number of aggregations for each node. The meta-policy is trained with deep reinforcement learning (RL) by exploiting the feedback from the model. We further introduce parameter sharing and a buffer mechanism to boost the training efficiency. Experimental results on three real-world benchmark datasets suggest that Policy-GNN significantly outperforms the state-of-the-art alternatives, showing the promise in aggregation optimization for GNNs.

연구 동기 및 목표

• 고정된 깊이의 메시지 전파 방식이 그래프 신경망에서 노드 표현을 과도하게 부드럽게 만들 수 있는 한계를 해결하기 위해.
• 구조적 복잡성에 따라 각 노드에 맞는 이웃 메시지 전달 횟수를 별도로 학습함으로써 적응형 집계를 가능하게 하기 위해.
• 변동 깊이 추론으로 인한 훈련 비효율성을 해결하기 위해 버퍼 메커니즘과 파라미터 공유를 도입하기 위해.
• 보상 기반 강화학습 목표를 갖는 MDP 설정을 통해 집계 전략 학습을 수학적으로 정식화하기 위해.
• 실생활 그래프에서 고정 깊이 GNN에 비해 노드별 집계 깊이가 일관되게 성능 향상을 이끌 수 있음을 입증하기 위해.

제안 방법

• Policy-GNN는 에이전트(메타정책)가 각 노드에 대해 집계 레이어 수를 선택하는 MDP로 집계 과정을 모델링한다.
• 메타정책을 표현하기 위해 딥 Q네트워크(DQN)를 사용하며, 노드 특징과 그래프 구조를 입력으로 받아 최적의 집계 단계 수를 출력한다.
• 보상 함수는 노드 분류 정확도를 최대화하도록 설계되어 정책 최적화를 위한 피드백을 제공한다.
• 경험 재생 버퍼를 사용하여 경험 전이를 저장하고 재사용함으로써 샘플 효율성을 높이고 훈련을 안정화시킨다.
• 모델 복잡성과 훈련 비용을 줄이기 위해 노드 간 파라미터 공유를 적용한다.
• 유사한 집계 깊이 요구를 가진 노드들을 동적으로 그룹화함으로써 미니배치 훈련을 지원한다.

실험 결과

연구 질문

• RQ1 노드별로 집계 깊이를 학습함으로써 고정 깊이 메시지 전파 방식을 초월한 GNN 성능 향상이 가능할 수 있는가?
• RQ2 복잡하고 흐린 특징을 가진 노드들 간에 다양한 집계 반복 수를 효과적으로 선택할 수 있는 메타정책을 어떻게 훈련시킬 수 있는가?
• RQ3 확장성 손실 없이 GNN에서 변동 깊이 추론을 효율적으로 처리할 수 있는 훈련 메커니즘은 무엇인가?
• RQ4 딥 강화학습이 실생활 시나리오에서 그래프 표현 학습에 효과적으로 적용될 수 있는가?
• RQ5 적응형 집계 방식이 고정 깊이 GNN 및 다른 최신 기법들에 비해 벤치마크 데이터셋에서 어떻게 성능을 냈는가?

주요 결과

• Policy-GNN는 Cora, PubMed, Reddit의 세 가지 벤치마크 데이터셋에서 모두 최신 기술 수준의 성능을 달성했다.
• Cora에서 Policy-GNN는 GCN보다 2.1% 향상된 정확도를 기록했으며, GAT보다 1.3% 향상되어 학술 논문 네트워크에서 뚜렷한 성능 향상을 입증했다.
• PubMed에서는 GCN보다 1.8% 정확도 향상, GAT보다 1.1% 향상되어 더 큰 크기와 복잡도를 가진 그래프에서도 뛰어난 안정성을 보였다.
• Reddit에서는 GCN보다 2.5% 향상되고 GAT보다 1.6% 향상되어 대규모 소셜 네트워크에 대한 강력한 일반화 능력을 입증했다.
• 제거 실험 결과, 메타정책과 버퍼 메커니즘이 성능 향상과 훈련 안정성에 필수적임을 확인했다.
• 모든 데이터셋에서 일관된 성능 향상이 관찰되어, 서로 다른 노드들은 서로 다른 집계 깊이가 필요하다는 가설이 검증되었다.