[논문 리뷰] Controlling Graph Dynamics with Reinforcement Learning and Graph Neural Networks

Eli A. Meirom, Haggai Maron외 2명|arXiv (Cornell University)|2020. 10. 11.

Advanced Graph Neural Networks인용 수 13

한 줄 요약

이 논문은 부분 관측 조건에서 시간적 그래프 상의 동적 프로세스(예: 전염병 확산 또는 영향력 최대화)를 제어하기 위해 그래프 신경망(GNN)을 활용한 강화학습(RL) 프레임워크를 제안한다. 이는 국소적 동역학과 장거리 정보 전파를 모델링하기 위해 이중 스트림 GNN 아키텍처를 사용하며, 노이즈가 많고 불완전한 관측 조건에서도 효과적으로 노드 간섭 순위를 매길 수 있도록 한다. 이는 전염병 제어 및 영향력 최대화 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We consider the problem of controlling a partially-observed dynamic process on a graph by a limited number of interventions. This problem naturally arises in contexts such as scheduling virus tests to curb an epidemic; targeted marketing in order to promote a product; and manually inspecting posts to detect fake news spreading on social networks. We formulate this setup as a sequential decision problem over a temporal graph process. In face of an exponential state space, combinatorial action space and partial observability, we design a novel tractable scheme to control dynamical processes on temporal graphs. We successfully apply our approach to two popular problems that fall into our framework: prioritizing which nodes should be tested in order to curb the spread of an epidemic, and influence maximization on a graph.

연구 동기 및 목표

• 제한된 간섭 조건과 부분 관측, 조합적 행동 공간 하에서 그래프 상의 확산 프로세스 제어 과제를 해결하기 위해.
• 노드 상태가 시간 경과에 따라 시간스탬프가 부여된 상호작용을 통해 변화하는 시간적 그래프 동역학을 모델링하기 위해.
• 예측된 후속 영향을 바탕으로 간섭을 위한 노드 순위를 매기는 가용성 있고 미분 가능한 프레임워크를 설계하기 위해.
• 노드 상태의 불확실성(예: 잠복기 또는 감염 상태)을 다루고 네트워크 전반에 걸쳐 믿음 업데이트를 전파하기 위해.
• 대규모 그래프 간섭 문제에 대해 히وري스틱 및 몬테카를로 기반 방법보다 확장성과 성능 면에서 향상된 성능을 달성하기 위해.

제안 방법

• 시간스탬프가 부여된 간선을 갖는 시간적 그래프에서 부분 관측 마코프 결정 과정(POMDP)으로 문제를 수식화한다.
• 이중 스트림 GNN 아키텍처를 활용: 하나는 국소적 동역학 모델링을 위해, 다른 하나는 장거리 정보 전파를 위해.
• 기대 영향력을 최대화하거나 감염 확산을 최소화하는 데 목적이 있는 간섭 정책을 학습하기 위해 액터-크리틱 RL 알고리즘을 사용한다.
• 관측된 상호작용과 노드 상태 변화로부터 다중 그래프를 구성하여 시간적 의존성을 표현한다.
• 전파 지연과 잠복 상태를 고려하여 감염 확률에 대한 믿음 업데이트를 계산하기 위해 동적 프rogram밍을 통합한다.
• GNN 메시지 전파 과정에서 이웃 노드 간의 정보 집합을 안정화시켜 학습 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 노드 상태가 부분적으로 관측되고 시스템이 시간에 따라 변화하는 상황에서 그래프 상의 동적 프로세스를 효과적으로 제어할 수 있는 방법은 무엇인가?
• RQ2 전염병 확산을 최소화하거나 영향력을 최대화하기 위해 소수의 노드를 간섭할 최적의 전략은 무엇인가?
• RQ3 국소적 관측만 가능할 경우 노드 상태 믿음의 장거리 의존성을 어떻게 모델링할 수 있는가?
• RQ4 딥 강화학습 프레임워크에 GNN을 적용하면 히وري스틱 및 몬테카를로 기반 방법보다 확장성과 성능 면에서 뛰어난 성능을 낼 수 있는가?
• RQ5 노이즈가 많고 지연되며 부분적인 관측이 이루어지는 조건에서 GNN 기반 정책의 학습을 어떻게 안정화시킬 수 있는가?

주요 결과

• 제안된 방법은 전염병 제어 및 영향력 최대화 벤치마크에서 히وري스틱 및 몬테카를로 기반 방법보다 최신 기술 수준의 성능을 달성한다.
• 이중 스트림 GNN 아키텍처는 국소적 동역학과 장거리 믿음 전파를 효과적으로 포착하여 간섭 정책의 품질을 향상시킨다.
• 몬테카를로 방법이 계산적으로 비가능해지는 대규모 그래프(최대 10^4개 노드)에까지 스케일링 가능하다.
• 전파 지연 모델을 활용한 동적 믿음 업데이트가 감염 확산 예측 정확도를 크게 향상시킨다.
• GNN에서 안정화된 메시지 전파 기법은 표준 GNN에 비해 학습 수렴성과 정책 성능을 향상시킨다.
• 시간적 그래프 처리 기능을 갖춘 액터-크리틱 RL 프레임워크는 부분 관측 조건 하에서 간섭 정책의 엔드 투 엔드 학습을 가능하게 한다.