[論文レビュー] Optimal Control of Complex Systems through Variational Inference with a Discrete Event Decision Process

Wen Dong, Бо Лю+1 more|arXiv (Cornell University)|May 7, 2019

Mental Health Research Topics参考文献 40被引用数 7

ひとこと要約

本稿では、複雑なシステムを離散的イベント意思決定過程（DEDP）としてモデル化し、Betheエントロピー近似を用いた変分推論により解くことで、最適制御のための新規フレームワークを提案する。最適制御を変分推論およびパrameter学習として再定式化することで、現実の交通制御シナリオにおいて、最先端の解析的およびサンプリングベースの手法と比較して、より高い期待報酬、より速い収束速度、および低い価値関数の分散を達成する。

ABSTRACT

Complex social systems are composed of interconnected individuals whose interactions result in group behaviors. Optimal control of a real-world complex system has many applications, including road traffic management, epidemic prevention, and information dissemination. However, such real-world complex system control is difficult to achieve because of high-dimensional and non-linear system dynamics, and the exploding state and action spaces for the decision maker. Prior methods can be divided into two categories: simulation-based and analytical approaches. Existing simulation approaches have high-variance in Monte Carlo integration, and the analytical approaches suffer from modeling inaccuracy. We adopted simulation modeling in specifying the complex dynamics of a complex system, and developed analytical solutions for searching optimal strategies in a complex network with high-dimensional state-action space. To capture the complex system dynamics, we formulate the complex social network decision making problem as a discrete event decision process. To address the curse of dimensionality and search in high-dimensional state action spaces in complex systems, we reduce control of a complex system to variational inference and parameter learning, introduce Bethe entropy approximation, and develop an expectation propagation algorithm. Our proposed algorithm leads to higher system expected rewards, faster convergence, and lower variance of value function in a real-world transportation scenario than state-of-the-art analytical and sampling approaches.

研究の動機と目的

• 高次元で非線形な複雑なシステム、特に大きな状態空間と行動空間を有するものにおける最適制御の課題に取り組む。
• シミュレーションベースのモデリングの精度と、解析的手法の低分散ロバスト性を統合する。
• 高次元ダイナミクス下での複雑なネットワーク意思決定のためのスケーラブルな解決策を開発する。
• 確率的制御における従来のモンテカルロサンプリングの計算負荷を軽減する。
• 複雑で時間的に変化する非線形相互作用を有するシステムにおける、効率的な学習と推論を可能にする。

提案手法

• 複雑なシステム意思決定を、微視的相互作用をシミュレーションでモデル化する離散的イベント意思決定過程（DEDP）として定式化する。
• 最適制御を変分推論およびパrameter学習として再定式化し、双対性を活用して問題を扱いやすい推論タスクに変換する。
• 高次元システムにおける変分目的関数の扱いにくいエントロピー項を処理するために、Betheエントロピー近似を適用する。
• システムの状態と行動に関する近似事後分布を繰り返し計算するために、期待値伝搬アルゴリズムを開発する。
• 前向き・後ろ向きメッセージパッシングを用いて、変分分布の十分統計量を計算し、効率的な推論を可能にする。
• 長時間スパンの期待報酬を最適化するために、報酬形状と状態-行動メッセージパッシングを統合する。

実験結果

リサーチクエスチョン

• RQ1 シミュレーションの忠実性と解析的推論を組み合わせたハイブリッド手法は、複雑なシステムにおける制御パフォーマンスを向上させ得るか？
• RQ2 変分推論は、複雑なネットワークにおける高次元で非線形的かつ時間的に変化するダイナミクスに対応して適応可能か？
• RQ3 Bethe近似は、大規模意思決定プロセスにおいて正確で安定した正確推論の代替手段を提供するか？
• RQ4 提案手法は、報酬、収束速度、分散の観点で、サンプリングベースおよび解析的制御手法を上回る性能を示すか？
• RQ5 離散的イベントモデリングの統合は、標準的なMDPと比較して、複雑なシステムダイナミクスのモデリング精度をどのように向上させるか？

主な発見

• 提案手法は、現実の交通制御シナリオにおいて、最先端の解析的およびサンプリングベースの手法と比較して、顕著に高いシステムの期待報酬を達成した。
• アルゴリズムは既存の手法よりも速く収束し、高次元の状態-行動空間における高いサンプル効率を示した。
• 価値関数推定の分散は、モンテカルロサンプリング手法よりも顕著に低く、より高い安定性を示した。
• Betheエントロピー近似の使用により、正確な計算が不可能な高次元システムにおいても、正確な推論が可能になった。
• 実験結果から、変分推論を用いたDEDP定式化は、標準的なMDPベースの解析的手法と比較して、報酬とロバスト性の両面で優れた性能を示した。
• 前向き・後ろ向きメッセージパッシング方式により、周辺分布の効率的計算が可能となり、スケーラブルな推論を支援した。