[論文レビュー] Duality between density function and value function with applications in constrained optimal control and Markov Decision Process

Yuxiao Chen, Aaron D. Ames|arXiv (Cornell University)|Feb 25, 2019

Traffic control and management参考文献 21被引用数 7

ひとこと要約

本論文は、最適制御およびマーカフ連鎖過程（MDPs）における価値関数と密度関数の双対性を確立し、安全制約や容量制約といった制約付き最適制御問題を、密度関数に関する最適化問題に再定式化することを可能にする。プライマル・デュアルアルゴリズムを用いて、価値関数のための標準的HJB偏微分方程式（PDE）を解くことと、密度関数をリウヴィル方程式に従って進化させることを交互に繰り返すことで、最適性を保ちつつ制約を効率的に満たす。この手法は、ロボットナビゲーション、交通制御、外乱下での実験的Segway制御の分野で成功裏に実証された。

ABSTRACT

Density function describes the density of states in the state space of a dynamic system or a Markov Decision Process (MDP). Its evolution follows the Liouville equation. We show that the density function is the dual of the value function in the optimal control problems. By utilizing the duality, constraints that are hard to enforce in the primal value function optimization such as safety constraints in robot navigation, traffic capacity constraints in traffic flow control can be posed on the density function, and the constrained optimal control problem can be solved with a primal-dual algorithm that alternates between the primal and dual optimization. The primal optimization follows the standard optimal control algorithm with a perturbation term generated by the density constraint, and the dual problem solves the Liouville equation to get the density function under a fixed control strategy and updates the perturbation term. Moreover, the proposed method can be extended to the case with exogenous disturbance, and guarantee robust safety under the worst-case disturbance. We apply the proposed method to three examples, a robot navigation problem and a traffic control problem in sim, and a segway control problem with experiment.

研究の動機と目的

• 最適制御およびMDPsにおける価値関数と密度関数の理論的双対性を確立すること。
• 直接的にプライマル価値関数定式化で制御が難しい、安全制約や容量制約といった制約付き最適制御問題に対処すること。
• 制約下で、価値関数最適化（HJB PDE）と密度関数進化（リウヴィル方程式）を交互に実行するプライマル・デュアルアルゴリズムを開発すること。
• 外乱を伴う系および複数の結合されたMDPsにこのフレームワークを拡張すること。
• ロボットナビゲーション、交通制御、Segway安定化の分野におけるシミュレーションおよび実験的結果を通じて、手法の有効性を検証すること。

提案手法

• 連続時間系および離散的MDPsの両方において、密度関数が価値関数の双対であるとみなせる双対性フレームワークを提案する。
• 固定された制御方策下で、時間の経過に伴ってリウヴィル方程式を前向きに解くことで、ODEに基づく方法により密度関数を計算する。
• プライマル・デュアルアルゴリズムを導入：プライマルステップでは、密度制約から導かれる摂動項を含むHJB PDEを解き、デュアルステップではリウヴィル方程式に従って密度関数を進化させる。
• 現在の密度関数に基づいて摂動項を更新する固定点反復を実装し、制約の満たしを保証する。
• 最悪ケースの外乱を密度進化に組み込むことでロバスト制御に拡張し、ロバストな安全性を保証する。
• シミュレータのみが利用可能な状況ではカーネル密度推定を用いて密度関数を近似し、強化学習との統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 連続的最適制御および離散的MDPsの両方において、密度関数が正式に価値関数の双対として定式化可能か？
• RQ2 安全制約や交通容量制約といった制約が、密度関数に関する最適化によって自然にどのように満たされるか？
• RQ3 制約を満たすために、価値関数の最適化と密度関数の進化を交互に実行するプライマル・デュアルアルゴリズムを設計可能か？
• RQ4 外乱が存在する状況下で、この手法はどのように性能を示し、ロバストな安全性を保証できるか？
• RQ5 このフレームワークは複数の結合されたMDPsに拡張可能であり、強化学習と統合可能か？

主な発見

• 連続系およびMDPsの両方において、密度関数が価値関数の双対であることが示され、その双対性はリウヴィル方程式とHJB方程式に根ざしている。
• 提案されたプライマル・デュアルアルゴリズムは、密度制約（例：地域7における交通密度の制限）を効果的に満たし、制約付き解ではコストが79.21、制約なしでは71.05であった。
• 制約付きMDPの状況では、最適方策が確率的（stochastic）となり、ボトルネック領域における密度が正確に許容最大値に達していることが確認され、制約の満たしの妥当性が裏付けられた。
• 外乱ダイナミクスをリウヴィル方程式に組み込むことで、最悪ケース外乱を考慮したロバストな安全性が実現可能である。
• 実験的にSegwayシステムに適用し、制御制約下でも安定性を示し、実世界への応用可能性が実証された。
• カーネル密度推定を用いることで、強化学習への拡張が可能となり、シミュレーションベースの学習における密度に基づく安全性制約が実現可能となった。