[論文レビュー] Safe Policy Improvement by Minimizing Robust Baseline Regret

Marek Petrik, Yinlam Chow+1 more|arXiv (Cornell University)|Jul 13, 2016

Probabilistic and Robust Engineering Design被引用数 68

ひとこと要約

この論文は、モデルベース強化学習における安全な方策改善を保証するため、ベースライン方策に対するレグRETを最小化するロバスト最適化フレームワークを提案する。誤ったが有界なダイナミクスモデルを活用することで、学習済み方策とベースライン方策を適応的に組み合わせ、モデルの不確実性が大きい場合でさえも、標準的手法を上回る性能を発揮する。

ABSTRACT

An important problem in sequential decision-making under uncertainty is to use limited data to compute a safe policy, i.e., a policy that is guaranteed to perform at least as well as a given baseline strategy. In this paper, we develop and analyze a new model-based approach to compute a safe policy when we have access to an inaccurate dynamics model of the system with known accuracy guarantees. Our proposed robust method uses this (inaccurate) model to directly minimize the (negative) regret w.r.t. the baseline policy. Contrary to the existing approaches, minimizing the regret allows one to improve the baseline policy in states with accurate dynamics and seamlessly fall back to the baseline policy, otherwise. We show that our formulation is NP-hard and propose an approximate algorithm. Our empirical results on several domains show that even this relatively simple approximate algorithm can significantly outperform standard approaches.

研究の動機と目的

• モデルの精度が状態ごとに異なる状況において、改善された方策を順序的意思決定に導入する課題に対処すること。
• 新しい方策がベースライン方策と同等以上に性能を発揮することを保証することで、性能保証を実現すること。
• 既存手法がベースラインを完全に置き換えたり、改善を行わなかったりするという限界を克服し、特に非一様なモデル不確実性下でも有効に機能すること。
• 状態に依存する形で学習済み方策とベースライン方策を統合する原理的アプローチを構築すること。
• 性能と計算複雑度に関する理論的保証を提供し、問題がNP困難であるが近似解法によって解けることを示すこと。

提案手法

• 誤差の上限が既知のモデルを用いて、ベースライン方策に対する負のレグRETを最小化するロバスト最適化問題を定式化すること。
• 学習済み方策とベースライン方策の両方における不確実性を統合するロバストベースラインレグRET目的関数を導入すること。
• 決定論的方策が最適なレグRET最小化に十分でない場合を考慮し、解空間に確率的方策を許容すること。
• NP困難な問題を解く近似アルゴリズムを提案し、実用的導入を可能にすること。
• シミュレータと誤差関数を用いたモデルベースアプローチを採用し、モデルの不正確さを捉えることで、保守的な性能推定を保証すること。
• 既知の報酬関数と有界な遷移誤差を前提とした、割合無限時間ホライズン計画を対象とするMDPに本手法を適用すること。

実験結果

リサーチクエスチョン

• RQ1 モデルの不確実性下でも、ベースライン方策と同等以上に性能を発揮することを保証する方策改善手法を設計できるか？
• RQ2 モデルの精度が状態ごとに異なる状況で、学習済み方策とベースライン方策を状態ごとに効果的に統合する方法は何か？
• RQ3 不確かなダイナミクスを有するMDPにおいて、ベースライン方策に対するロバストレグRETを最小化する問題の理論的複雑度は何か？
• RQ4 提案されたレグRET最小化フレームワークは、標準的なモデルベースおよびモデルフリーの安全な方策改善手法と比べてどのように異なるか？
• RQ5 単純な近似アルゴリズムは、実際の応用において標準的手法を著しく上回る性能向上を達成できるか？

主な発見

• 提案されたロバストベースラインレグRET最小化フレームワークは、得られた方策がベースライン方策と同等以上に性能を発揮することを保証する。
• 本手法は、モデルの精度が高い状態では学習済み方策を使用し、不確実性が高い状態ではベースライン方策にフォールバックする、状態別に最適な方策ブレンドを可能にする。
• ロバストベースラインレグRETを最小化する問題はNP困難であることが証明されており、近似アルゴリズムの使用が不可避である。
• 単純な近似アルゴリズムですら、グリッドワールドやエネルギーアービタージュタスクを含む実験的ドメインにおいて、標準的なモデルベース手法を著しく上回る性能を発揮する。
• 楽観的・悲観的な推定値の比較に基づく方法で一般的に見られる過度な保守的判断を避けるために、直接的にレグRETを最小化することで、より合理的な意思決定が可能になる。
• 実験的結果から、特にモデル誤差が状態ごとに非一様に分布するエネルギーアービタージュおよびグリッドワールド環境において、顕著な性能向上が確認された。