[論文レビュー] A Primal-Dual Approach to Constrained Markov Decision Processes

Yi Chen, Jing Dong+1 more|arXiv (Cornell University)|Jan 26, 2021

Reinforcement Learning in Robotics参考文献 40被引用数 15

ひとこと要約

本稿では、制約付きマルコフ決定過程（CMDP）を解くためのサンプリングベースのプライマルデュアルアルゴリズムを提案する。正則化されたポリシー反復と部分勾配上昇法を組み合わせ、制約を維持する。収束速度は $ O(\log(T)/\sqrt{T}) $ を達成し、多製品在庫および多クラスキュー順序付けスケジューリングにおいて、最先端のヒューリスティクスを著しく上回り、高い割引率下で最大21%のコスト削減を実現する。

ABSTRACT

In many operations management problems, we need to make decisions sequentially to minimize the cost while satisfying certain constraints. One modeling approach to study such problems is constrained Markov decision process (CMDP). When solving the CMDP to derive good operational policies, there are two key challenges: one is the prohibitively large state space and action space; the other is the hard-to-compute transition kernel. In this work, we develop a sampling-based primal-dual algorithm to solve CMDPs. Our approach alternatively applies regularized policy iteration to improve the policy and subgradient ascent to maintain the constraints. Under mild regularity conditions, we show that the algorithm converges at rate $ O(\log(T)/\sqrt{T})$, where T is the number of iterations. When the CMDP has a weakly coupled structure, our approach can substantially reduce the dimension of the problem through an embedded decomposition. We apply the algorithm to two important applications with weakly coupled structures: multi-product inventory management and multi-class queue scheduling, and show that it generates controls that outperform state-of-art heuristics.

研究の動機と目的

• 大きな状態空間および行動空間、および未知の遷移カーネルを伴うCMDPを解く際の計算的課題に対処すること。
• 各反復で完全なポリシー評価を回避する低コストでスケーラブルなアルゴリズムの開発。
• 埋め込まれた分解とプライマルデュアル更新を用いて、弱く結合されたCMDPの効率的解法を可能にすること。
• 実世界の運用管理アプリケーションにおいて、既存のヒューリスティクスよりも優れた実証的性能を示すこと。
• 正則化と双対性を統合する一貫したフレームワークを提供し、理論的収束保証を伴うCMDPの解法を実現すること。

提案手法

• プライマルデュアル手法を採用し、ポリシー改善のための正則化されたポリシー反復と、ラグランジュ乗数の更新のための部分勾配上昇法を交互に実行する。
• ポリシー改善ステップにKL正則化を適用し、ミラー降下の解釈が可能になり、安定したポリシー更新が可能になる。
• プライマルデュアル反復ごとに1回のポリシー反復ステップのみを実行し、完全なポリシー評価と比較して計算コストを低減する。
• 弱く結合された構造を活用して、結合制約を介してのみ接続されるサブ問題にCMDPを分解し、スケーラブルな計算を可能にする。
• リアルタイム適用性を高めるために、モンテカルロによるポリシー評価やTD学習などの近似動的プログラミング手法と統合する。
• 正則化されたベルマン作用素フレームワークを用いて、アルゴリズムの収束を統一的かつ分析的に扱う。

実験結果

リサーチクエスチョン

• RQ1 1回の反復で1回のポリシー更新しか行わないプライマルデュアルアルゴリズムが、CMDPにおいて最適な収束速度を達成できるか。
• RQ2 ポリシー反復における正則化が、CMDPの解法における安定性と収束性をどのように向上させるか。
• RQ3 弱く結合されたCMDPは、計算複雑性をどれほど低減できるか。
• RQ4 さまざまなシステムパラメータ下で、提案手法がヒューリスティックポリシーと比較してコストパフォーマンスでどの程度優れているか。
• RQ5 実用的応用において、プライマルデュアル学習プロセスからどのような構造的性質（例：しきい値ベースのポリシー）が生じるか。

主な発見

• アルゴリズムは $ O(\log(T)/\sqrt{T}) $ の収束速度を達成し、ややきつい正則性条件のもとで、プライマルデュアル手法の最適レートと一致する。
• 多クラスキュー順序付けスケジューリングにおいて、高割引率（$ \gamma = 0.99 $）下で最大圧力ポリシーと比較してコストを21%削減した。
• 多製品在庫管理において、修正版 $ c\mu $-ルールおよび修正版最大圧力ポリシーを上回り、特にオーバーフロー費用が高い状況で顕著な優位性を示した。
• 学習されたポリシーはしきい値ベースの構造を示し、キュー長が状態依存のしきい値を超えた場合にのみオーバーフローが発生する。
• システムの安定性が要求する場合には、積極的なオーバーフローポリシーを学習し、キューが大きくなるまでオーバーフローを延期するポリシーを上回った。
• 未知の遷移カーネルに対してもロバストであり、弱く結合されたCMDP構造を介した分解により、効果的にスケーリング可能である。