[論文レビュー] Robust Markov Decision Processes: Beyond Rectangularity

Grand Clement, Julien|arXiv (Cornell University)|Jan 1, 2019

Reinforcement Learning in Robotics参考文献 30被引用数 26

ひとこと要約

本稿では、遷移確率の不確実性を要因行列を用いてモデル化する、頑健なマルコフ決定過程（MDP）フレームワークを提案する。この手法により、状態間の依存関係を表現でき、従来の長方形不確実性集合と比較して過剰な保守性が低減される。長方形性の仮定の下で、最適な頑健な方策が効率的に計算可能であり、計算実験においても高い効率性と性能が示された。

ABSTRACT

Markov decision processes (MDPs) are a common approach to model dynamic optimization problems in many applications. However, in most real world problems, the model parameters that are estimated from noisy observations are uncertain, and the optimal policy for the nominal parameter values might be highly sensitive to even small perturbations in the parameters leading to significantly suboptimal outcomes. We consider a robust approach where the uncertainty in probability transitions is modeled as an adversarial selection from an uncertainty set. Most prior work considers the case where uncertainty on parameters related to different states is unrelated and the adversary is allowed to select worst possible realization for each state unrelated to others, potentially leading to highly conservative solutions. On the other hand, the case of general uncertainty sets is known to be intractable. We consider a factor model for probability transitions where the transition probability is a linear function of a factor matrix that is uncertain and belongs to a factor matrix uncertainty set. This a significantly less conservative approach to modeling uncertainty in probability transitions while allowing to model dependence between probability transitions across different states. We show that under a certain rectangularity assumption, we can efficiently compute the optimal robust policy under the factor matrix uncertainty model. We also present a computational study to demonstrate the usefulness of our approach.

研究の動機と目的

• 状態ごとに独立した不確実性を仮定する従来の頑健MDPが示す過剰な保守性を是正すること。
• 要因行列構造を用いて、異なる状態間の遷移確率の依存関係をモデル化すること。
• この新しい不確実性モデルに基づく、効率的な頑健方策最適化の計算手法を開発すること。
• ベンチマークMDP問題を用いた計算実験を通じて、本手法の実用的利点を示すこと。

提案手法

• 要因行列が事前に定義された不確実性集合に属するものとし、遷移確率をその線形関数としてモデル化する。
• 頑健MDP問題を扱いやすい最適化問題に再定式化できる長方形性の仮定を導入する。
• 動的計画法の原則を用い、修正された価値反復または方策反復アルゴリズムを解くことで、最適な頑健方策を計算する。
• 要因行列の不確実性集合内での最悪の遷移を考慮した、頑健なベルマン方程式を定式化する。
• 要因行列の構造を処理するために分解技術を適用し、計算複雑性を低減する。
• ベンチマークMDP問題に対して本手法を評価するための計算フレームワークを実装する。

実験結果

リサーチクエスチョン

• RQ1 要因行列モデルは、独立した状態ごとの不確実性と比較して、頑健MDPにおける保守性を低減できるか？
• RQ2 状態遷移間の依存関係をモデル化することで、最適方策の頑健性と性能にどのような影響を与えるか？
• RQ3 要因行列不確実性を伴う頑健MDP問題が、どのような条件下で効率的に解けるか？
• RQ4 頑健MDPにおいて、モデルの柔軟性と扱いやすさの間で、どのような計算的トレードオフが生じるか？
• RQ5 標準的な頑健MDP手法と比較して、本手法は方策の質と計算コストの両面で優れているか？

主な発見

• 提案された要因行列不確実性モデルは、状態遷移間の依存関係を捉えることで、従来の長方形不確実性集合と比較して、著しく保守性が低減される。
• 長方形性の仮定の下で、頑健MDP問題は計算的に取り扱いやすく、修正された動的計画法アルゴリズムによって解ける。
• 不確実性が複数の状態にわたっても、最適な頑健方策を効率的に計算可能である。
• 計算実験の結果、パrameterの摂動下でも、ベースラインの頑健MDPと比較して本手法は優れた方策性能を達成する。
• 独立した状態ごとのモデルよりも、より豊かな遷移不確実性のモデル化を可能にしつつ、計算効率を維持する。