[논문 리뷰] Optimal Control of Complex Systems through Variational Inference with a Discrete Event Decision Process

Wen Dong, Бо Лю외 1명|arXiv (Cornell University)|2019. 05. 07.

Mental Health Research Topics참고 문헌 40인용 수 7

한 줄 요약

이 논문은 복잡한 시스템의 최적 제어를 위해 이산적 사건 결정 과정(Discrete Event Decision Processes, DEDPs)으로 모델링하고, 베티 엔트로피 근사와 변분 추론을 통해 이를 해결하는 새로운 프레임워크를 제안한다. 최적 제어 문제를 변분 추론과 파rameter 학습으로 재구성함으로써, 실제 교통 제어 시나리오에서 최신의 분석적 및 샘플 기반 접근법보다 높은 기대 보상, 더 빠른 수렴 속도, 더 낮은 가치 함수 분산을 달성한다.

ABSTRACT

Complex social systems are composed of interconnected individuals whose interactions result in group behaviors. Optimal control of a real-world complex system has many applications, including road traffic management, epidemic prevention, and information dissemination. However, such real-world complex system control is difficult to achieve because of high-dimensional and non-linear system dynamics, and the exploding state and action spaces for the decision maker. Prior methods can be divided into two categories: simulation-based and analytical approaches. Existing simulation approaches have high-variance in Monte Carlo integration, and the analytical approaches suffer from modeling inaccuracy. We adopted simulation modeling in specifying the complex dynamics of a complex system, and developed analytical solutions for searching optimal strategies in a complex network with high-dimensional state-action space. To capture the complex system dynamics, we formulate the complex social network decision making problem as a discrete event decision process. To address the curse of dimensionality and search in high-dimensional state action spaces in complex systems, we reduce control of a complex system to variational inference and parameter learning, introduce Bethe entropy approximation, and develop an expectation propagation algorithm. Our proposed algorithm leads to higher system expected rewards, faster convergence, and lower variance of value function in a real-world transportation scenario than state-of-the-art analytical and sampling approaches.

연구 동기 및 목표

• 고차원적이고 비선형적인 복잡한 시스템에서 상태 공간과 행동 공간이 큰 상황에서 최적 제어 문제를 해결하기 위해.
• 시뮬레이션 기반 모델링의 정확성과 분석적 방법의 낮은 분산에 기반한 강건성의 장점을 융합하기 위해.
• 고차원 역학에서의 복잡한 네트워크 의사결정 문제를 위한 확장 가능한 해결책을 개발하기 위해.
• 스토케스틱 제어에서 전통적인 몬테카를로 샘플링의 계산 부담을 줄이기 위해.
• 복잡하고 시간에 따라 변하는 비선형 상호작용을 가진 시스템에서 효율적인 학습과 추론을 가능하게 하기 위해.

제안 방법

• 복잡한 시스템의 의사결정 문제를 이산적 사건 결정 과정(Discrete Event Decision Process, DEDP)으로 모델링하고, 시뮬레이션을 통해 미세한 상호작용을 기술한다.
• 최적 제어 문제를 변분 추론과 파rameter 학습으로 재구성하며, 이중성(duality)을 활용해 문제를 다룰 수 있는 추론 과제로 변환한다.
• 고차원 시스템에서 변분 목표 함수의 계산이 불가능한 엔트로피 항을 처리하기 위해 베티 엔트로피 근사를 적용한다.
• 시스템 상태와 행동에 대한 근사 사후 분포를 반복적으로 계산하기 위해 기대 전파(Expectation Propagation) 알고리즘을 개발한다.
• 변분 분포의 충분통계량을 계산하기 위해 전진-역행 메시지 전파(Forward-Backward Message Passing)를 사용하여 효율적인 추론을 가능하게 한다.
• 장기적 기대 보상을 최적화하기 위해 보상 형상화(Reward Shaping)와 상태-행동 메시지 전파를 통합한다.

실험 결과

연구 질문

• RQ1 시뮬레이션의 정밀도와 분석적 추론의 장점을 융합한 하이브리드 접근법이 복잡한 시스템에서 제어 성능을 향상시킬 수 있는가?
• RQ2 변분 추론은 복잡한 네트워크에서 고차원적이고 비선형적이며 시간에 따라 변하는 역학을 어떻게 다룰 수 있는가?
• RQ3 베티 근사는 대규모 의사결정 과정에서 정확한 추론의 안정적이고 정확한 대안이 될 수 있는가?
• RQ4 제안된 방법은 보상, 수렴 속도, 분산 측면에서 샘플 기반 및 분석적 제어 방법을 모두 능가할 수 있는가?
• RQ5 이산적 사건 모델링의 통합은 표준 MDP에 비해 복잡한 시스템 역학의 모델링 정확도를 어떻게 향상시키는가?

주요 결과

• 실제 교통 시나리오에서 제안된 방법은 최신의 분석적 및 샘플 기반 접근법보다 유의미하게 높은 시스템 기대 보상을 달성한다.
• 기존 방법보다 빠른 수렴 속도를 보이며, 고차원 상태-행동 공간에서 더 뛰어난 샘플 효율성을 입증한다.
• 가치 함수 추정의 분산이 몬테카를로 샘플링 방법보다 상당히 낮아, 더 높은 안정성을 나타낸다.
• 베티 엔트로피 근사를 통해 정확한 계산이 불가능한 고차원 시스템에서도 정확한 추론이 가능해졌다.
• 실험 결과에 따르면, 변분 추론을 통한 DEDP 설정은 표준 MDP 기반의 분석적 방법보다 보상과 강건성 측면에서 뛰어나다.
• 전진-역행 메시지 전파 방식은 근사 마진 분포의 효율적 계산을 가능하게 하여 확장 가능한 추론을 지원한다.