[논문 리뷰] Characterization and Control of Diffusion Processes in Multi-Agent Networks

Wai Hong Ronald Chan, Matthias Wildemeersch외 1명|arXiv (Cornell University)|2015. 08. 27.

Opinion Dynamics and Social Influence참고 문헌 35인용 수 4

한 줄 요약

이 논문은 가중치가 부여된 방향성 그래프를 사용하여 다중 에이전트 네트워크에서의 확산 과정을 모델링하고 제어하기 위한 확률적 프레임워크를 제안한다. 동역력을 보존적 또는 비보존적으로 분류하고, 가중치가 부여된 진입 차수 및 출구 차수 라플라시안을 통해 제어 방정식을 유도하며, 강화 학습을 통해 외부 입력 또는 네트워크 구조 수정을 통한 제어를 가능하게 하여 시뮬레이션에서 안정적 수렴과 목표로 한 정적 분포를 달성한다.

ABSTRACT

Diffusion processes are instrumental to describe the movement of a continuous quantity in a generic network of interacting agents. Here, we present a probabilistic framework for diffusion in networks and propose to classify agent interactions according to two protocols where the total network quantity is conserved or variable. For both protocols, our focus is on asymmetric interactions between agents involving directed graphs. Specifically, we define how the dynamics of conservative and non-conservative networks relate to the weighted in-degree Laplacian and the weighted out-degree Laplacian. Our framework allows the addition and subtraction of the considered quantity to and from a set of nodes. This enables the modeling of stubborn agents with time-invariant quantities, and the process of dynamic learning. We highlight several stability and convergence characteristics of our framework, and define the conditions under which asymptotic convergence is guaranteed when the network topology is variable. In addition, we indicate how our framework accommodates external network control and targeted network design. We show how network diffusion can be externally manipulated by applying time-varying input functions at individual nodes. Desirable network structures can also be constructed by adjusting the dominant diffusion modes. To this purpose, we propose a Markov decision process that learns these network adjustments through a reinforcement learning algorithm, suitable for large networks. The presented network control and design schemes enable flow modifications that allow the alteration of the dynamic and stationary behavior of the network in conservative and non-conservative networks.

연구 동기 및 목표

• 비대칭적이고 가중치가 부여된 상호작용을 갖는 다중 에이전트 네트워크에서 연속적인 확산 과정을 모델링하기 위한 통합된 확률적 프레임워크를 개발한다.
• 그래프 라플라시안을 사용하여 네트워크 동역력을 보존적(양이 보존됨) 또는 비보존적(양이 변동됨) 프로토콜으로 분류한다.
• 외부 자극과 네트워크 구조 수정을 통해 네트워크 제어를 가능하게 하여 일시적 및 정적 행동을 조작한다.
• 마르코프 결정 과정과 강화 학습을 활용하여 대규모 네트워크를 위한 적응형 네트워크 제어 전략을 설계한다.
• 교환 가능한 네트워크 구조와 시간에 따라 변하는 입력 조건 하에서 수렴성과 안정성을 입증하며, 고집적 에이전트와 동적 학습에 적용한다.

제안 방법

• 방향성 가중 그래프 위에서 전이 확률 행렬을 갖는 마스터 방정식에 의해 지배되는 연속 시간 확률적 과정으로 확산을 모델링한다.
• 가중치가 부여된 진입 차수 라플라시안과 출구 차수 라플라시안을 각각 사용하여 보존적 및 비보존적 프로토콜을 정의하여 양의 보존 또는 변동을 포착한다.
• 노드에서 외부적으로 추가되거나 제거되는 확산 물리량을 모델링하기 위해 외부 입력 항을 포함한 비균질 미분 방정식을 도입한다.
• 상태공간 제어 이론을 적용하여 시스템 모드를 분리하고 목표로 하는 동역학 제어를 위한 시간에 따라 변하는 입력 함수를 설계한다.
• 사전에 생성된 네트워크 구성에서 액션 선택을 통해 네트워크 구조를 수정하는 마르코프 결정 과정(MDP)을 제안하며, 보상이 목표 정적 분포를 향한 지시 역할을 한다.
• 5×10⁶ 시간 단계 동안 μ=0.2, ε=0.4, γ=0.995의 파rameter를 갖는 강화 학습 알고리즘을 사용하여 최적의 네트워크 조정을 학습하고, 목표 정적 상태로 수렴한다.

실험 결과

연구 질문

• RQ1 비대칭적이고 가중치가 부여된 네트워크에서 보존적 및 비보존적 확산 프로토콜은 일시적 및 정적 동역학에서 어떻게 다를까?
• RQ2 교환 가능한 네트워크 구조를 갖는 네트워크에서 확산이 점점 수렴하는 조건은 무엇인가?
• RQ3 어떤 조건에서 외부 입력을 설계하여 시스템을 안정화하고 목표 정적 행동으로 유도할 수 있는가?
• RQ4 직접적인 노드 수준 간섭 없이 네트워크 구조를 적응적으로 수정하여 제어 목표를 달성할 수 있는가?
• RQ5 강화 학습을 얼마나 효과적으로 활용하여 목표 노드로 정적 분포를 이동시키는 최적의 네트워크 구성 조정을 학습할 수 있는가?

주요 결과

• 적절한 네트워크 구조 및 입력 함수 조건 하에서 보존적 및 비보존적 네트워크에서 점점 수렴하는 결과를 달성한다.
• 외부 입력, 예를 들어 고집적 에이전트나 동적 학습을 모델링하는 데 사용되는 비균질 미분 방정식을 통해 시스템 행동 제어가 가능하다.
• MDP 기반 강화 학습 접근법은 100회의 시험에서 평균 정적 확률을 기반으로 목표 노드(12번 및 14번)로 정적 분포를 성공적으로 이끌어냈다.
• 5개의 액션에 대해 5×10⁶ 시간 단계 내에서 품질 함수 $V^{\ ext{\mathcal{Q}}}(1,W)$의 학습 곡선은 수렴을 보였다.
• 정적 분포는 두 목표 노드(12번 및 14번)로 크게 편향되어 있으며, 네트워크 구조 수정을 통한 효과적인 제어를 확인한다.
• 전략적인 네트워크 설계를 통해 주요 확산 모드를 이동시킴으로써 대규모 네트워크에서도 확산 동역학의 미세 조절이 가능하다.