[論文レビュー] Lightning Does Not Strike Twice: Robust MDPs with Coupled Uncertainty

Shie Mannor, Ofir Mebel+1 more|arXiv (Cornell University)|Jun 18, 2012

Reinforcement Learning in Robotics参考文献 17被引用数 25

ひとこと要約

この論文は、'雷は二度と同じ場所に落ちない'という原則——つまり、名目値からの状態-パラメータの逸脱回数を有限の数に制限する——を用いてパラメータの不確実性をモデル化する、新しいロバストMDPフレームワークを導入する。これにより、従来の独立した不確実性モデルに比べて、より保守的でない方策が得られる。この手法により、確率的保証を伴う最適方策の計算が実行可能となり、制御および学習システムにおける不確実性下での意思決定のより現実的で効率的な代替手段が提供される。

ABSTRACT

We consider Markov decision processes under parameter uncertainty. Previous studies all restrict to the case that uncertainties among different states are uncoupled, which leads to conservative solutions. In contrast, we introduce an intuitive concept, termed "Lightning Does not Strike Twice," to model coupled uncertain parameters. Specifically, we require that the system can deviate from its nominal parameters only a bounded number of times. We give probabilistic guarantees indicating that this model represents real life situations and devise tractable algorithms for computing optimal control policies using this concept.

研究の動機と目的

• 従来の独立したパラメータ不確実性モデルが引き起こす過剰な保守的性向を是正すること。
• 極端な逸脱がまれである現実世界の制約を反映するように、パラメータ不確実性をモデル化すること。
• 制限された逸脱回数の制約下で最適方策を計算するための計算可能フレームワークを開発すること。
• 制限された逸脱モデルが現実のシステム行動を的確に反映しているという確率的保証を提供すること。
• 制御および強化学習における不確実性下での意思決定の堅牢性を向上させること。

提案手法

• 名目値からの状態-パラメータの逸脱回数を定数で制限するロバストMDPの定式化を提案。
• パラメータの逸脱が許容可能な合計状態遷移回数に制限されるように不確実性をモデル化。
• 制限された逸脱限界内での最悪の逸脱パターンを想定した最適方策を計算するためのロバスト最適化フレームワークを用いる。
• 動的計画法および分解技術を用いて、最適方策の計算を計算可能に。
• 逸脱限界を超える確率的境界を導出し、モデルが現実の妥当性と結びつくように。
• フレームワークを有限時horizonおよび無限時horizon MDPに適用し、スケーラビリティと実用的適用性を保証。

実験結果

リサーチクエスチョン

• RQ1 従来のロバストMDPが示す過剰な保守的性向を回避するため、MDPにおけるパラメータ不確実性をどのようにモデル化できるか。
• RQ2 制限された逸脱回数によって状態間で不確実性を結合することで、どのような影響が生じるか。
• RQ3 この新しい不確実性モデル下で、最適方策を効率的に計算できるか。
• RQ4 制限された逸脱モデルの確率的保証は、標準的なロバストMDPと比べてどのように異なるか。
• RQ5 'Lightning Does Not Strike Twice' の原則は、制御および学習応用において現実のシステム行動を的確に反映しているか。

主な発見

• 提案された制限された逸脱モデルは、独立した不確実性を持つ標準的なロバストMDPと比較して、方策の保守的性向を顕著に低減する。
• フレームワークにより、動的計画法およびロバスト最適化技術を用いて、最適方策の計算が計算可能になる。
• 確率的境界が導出され、制限された逸脱モデルが極端なパラメータシフトがまれである現実の状況と整合していることが示された。
• 期待報酬の観点で優れた性能を達成しながら、最悪の逸脱状況下でも堅牢性を維持する。
• このアプローチは、有限時horizonおよび無限時horizon MDPに適用可能であり、スケーラビリティと実用的関連性を示した。
• 実験結果により、制限された逸脱モデルは、従来のロバストMDPよりもより能動的かつ効果的な方策を導くことが示された。