[論文レビュー] Optimal control in Markov decision processes via distributed optimization

Jie Fu, Shuo Han+1 more|arXiv (Cornell University)|Mar 24, 2015

Formal Methods in Verification参考文献 19被引用数 3

ひとこと要約

本稿では、時間論理制約付きの大規模なマークフ・決定過程（MDP）における最適制御のための分散最適化フレームワークを提案する。分解を活用することで計算複雑性を低減する。問題をスパースな線形計画問題に再定式化し、ADMMに基づくブロック分割アルゴリズムを適用することで、複雑な時間論理仕様の満たされる確率を最大化するポリシーのスケーラブルで並列化可能な合成を可能にする。ロボット運動計画の例では、ほぼ最適な平均報酬を達成した。

ABSTRACT

Optimal control synthesis in stochastic systems with respect to quantitative temporal logic constraints can be formulated as linear programming problems. However, centralized synthesis algorithms do not scale to many practical systems. To tackle this issue, we propose a decomposition-based distributed synthesis algorithm. By decomposing a large-scale stochastic system modeled as a Markov decision process into a collection of interacting sub-systems, the original control problem is formulated as a linear programming problem with a sparse constraint matrix, which can be solved through distributed optimization methods. Additionally, we propose a decomposition algorithm which automatically exploits, if exists, the modular structure in a given large-scale system. We illustrate the proposed methods through robotic motion planning examples.

研究の動機と目的

• 大規模なMDPに時間論理制約が付加された場合の、集中型最適制御合成のスケーラビリティの限界に対処すること。
• 大規模MDPをより小さな部分問題に分解しながらもグローバル最適性を保つ分散フレームワークを構築すること。
• 分散最適化技術を用いて、大規模MDP制御問題を効率的かつ並列化可能に解くこと。
• エルゴディックMDPにおいて割引報酬と平均報酬の両方の目的を、近似と分解を用いて処理すること。
• 複雑な時間論理仕様を伴うロボット運動計画タスクにおいて、手法の有効性を示すこと。

提案手法

• モジュラー構造、特に平面グラフの性質を活用して、大規模MDPを相互作用するサブシステムに分解する。
• 最適制御問題をスパースな制約行列を持つ線形計画問題に再定式化し、分散解法を可能にする。
• ブロック分割アルゴリズム（ADMMの変種）を適用して、分解された問題を分散的かつ並列的に解く。
• 各反復で近位作用素と射影ステップを用いて変数を更新し、妥当かつ最適な解への収束を保証する。
• サブシステム間での変数の同期と結合制約の強制を実現するための交換と平均化メカニズムを実装する。
• エルゴディックMDPにおける収束性と妥当性の向上を図るため、平均報酬をγ = 0.98で割引報酬に近似する。

実験結果

リサーチクエスチョン

• RQ1 分解に基づく分散最適化手法は、時間論理制約付きの大規模MDPにおける最適制御合成を効果的にスケーリングできるか？
• RQ2 大規模MDPにおけるモジュラー構造は、自動的にどのように活用され、計算複雑性が低減されるか？
• RQ3 分散ブロック分割アルゴリズムは、集中型手法と比較して、妥当性と収束性をどの程度維持できるか？
• RQ4 エルゴディックMDPにおける分散合成において、平均報酬を割引報酬に近似することは有効に使えるか？
• RQ5 本手法は、複雑な時間論理目的を伴うロボット運動計画タスクにおいて、実際の運用でどの程度の性能を示すか？

主な発見

• 分散合成アルゴリズムは14,284回の反復後に終了し、最適な割引報酬0.9998を達成した。これは(1−γ)でスケーリングした後の平均報酬0.02に相当する。
• 最終解の非妥当性測度は0.016であり、平均報酬制約があるにもかかわらず良好な妥当性を示している。
• 本手法は、4つの領域を含む複雑な時間論理仕様から導出された14状態の決定的 Büchi 動的機械（DBA）を正常に処理できた。
• ブロック分割アルゴリズムにより、ペナルティに基づく調整を伴う同時部分問題の解法が可能になり、2段階法よりも収束が改善された。
• 並列到達可能性と再発性の目的を同時に満たすロボット運動計画の事例研究において、本手法はスケーラビリティと有効性を示した。
• 分解アルゴリズムは、元のMDPのモジュラーかつ緩い結合構造を効果的に活用し、問題サイズの低減と並列計算の実現を達成した。