[論文レビュー] Twice regularized MDPs and the equivalence between robustness and regularization

Esther Derman, Matthieu Geist+1 more|arXiv (Cornell University)|Oct 12, 2021

Reinforcement Learning in Robotics参考文献 39被引用数 6

ひとこと要約

本稿では、遷移確率と報酬の不確実性を持つロバストMDPが、価値関数および方策に依存する正則化項を伴う正則化MDPと等価であることを示すことにより、強化学習におけるロバステネスと正則化を統合する二重正則化MDP（R²MDP）を導入する。主な貢献は、ロバスト最適化と正則化の間の理論的同等性を確立し、標準的な正則化アルゴリズムを用いてロバスト性を保証する効率的な方策反復を可能にすることである。

ABSTRACT

Robust Markov decision processes (MDPs) aim to handle changing or partially known system dynamics. To solve them, one typically resorts to robust optimization methods. However, this significantly increases computational complexity and limits scalability in both learning and planning. On the other hand, regularized MDPs show more stability in policy learning without impairing time complexity. Yet, they generally do not encompass uncertainty in the model dynamics. In this work, we aim to learn robust MDPs using regularization. We first show that regularized MDPs are a particular instance of robust MDPs with uncertain reward. We thus establish that policy iteration on reward-robust MDPs can have the same time complexity as on regularized MDPs. We further extend this relationship to MDPs with uncertain transitions: this leads to a regularization term with an additional dependence on the value function. We finally generalize regularized MDPs to twice regularized MDPs (R${}^2$ MDPs), i.e., MDPs with $ extit{both}$ value and policy regularization. The corresponding Bellman operators enable developing policy iteration schemes with convergence and robustness guarantees. It also reduces planning and learning in robust MDPs to regularized MDPs.

研究の動機と目的

• ロバストMDPと正則化MDPの間のギャップを埋めるために、ロバスト性が正則化によって達成可能であることを示す。
• 遷移および報酬ダイナミクスの両方の不確実性を捉える正則化フレームワークを構築する。
• ロバスト最適化問題と凸正則化最適化問題の間の理論的同等性を確立する。
• 収束性とロバスト性を保ちつつ計算効率を維持するR²ベルマン作用素を設計する。
• 標準的な正則化MDPソルバーを用いて、ロバストMDPにおける計画および学習を可能にする。

提案手法

• 不確実性集合上の最大最小問題としてロバストMDPを定式化し、凸正則化最適化問題と同等であることを示す。
• 不確実性集合に依存する正則化関数 Ω𝒰 を導出する。この関数は価値正則化と方策正則化を統合する。
• 正則化項をベルマン更新に組み込む二重正則化（R²）ベルマン作用素を提案する。
• 球制約付き不確実性集合の場合、収縮保証付きの明示的表現を得る。
• （s,a）-長方形不確実性集合へとフレームワークを拡張し、明示的な行動依存正則化を備えた新たなR²作用素を導出する。
• R²ベルマン作用素が決定的最適方策を有することを証明し、効率的な方策反復を可能にする。

実験結果

リサーチクエスチョン

• RQ1 遷移と報酬の不確実性を持つロバストMDPは、正則化MDPに再定式化可能か？
• RQ2 MDPにおけるロバスト性を誘発する正則化関数の明確な形は何か？
• RQ3 提案された正則化フレームワークは、標準的な方策反復の収束性と安定性を保持するか？
• RQ4 ロバストMDPの計算複雑性は、正則化問題に再定式化することで低減可能か？
• RQ5 R²ベルマン作用素は、取り扱いやすさを保ちながらどのようにロバスト性を確保するか？

主な発見

• 不確実性下でのロバスト価値関数は、価値および方策に依存する正則化項を伴う凸正則化最適化問題の解と等価である。
• 球制約付き不確実性集合の場合、正則化関数は明示的表現を持ち、R²ベルマン作用素の収縮を保証する。
• （s,a）-長方形不確実性集合に対するR²ベルマン作用素は、決定的最適方策を導くため、効率的な方策反復が可能である。
• 数値実験により、ロバスト価値関数と通常の価値関数との距離が不確実性集合のサイズに応じて増加することが確認され、ロバストネスのスケーリングが妥当であることが検証された。
• 報酬ロバストな状況ではロバストMPIとR²MPIが一致するが、遷移不確実性下では乖離を示し、R²正則化が遷移のロバストネスをより正確に捉えていることが示された。
• 同等性のおかげで、ロバストMDPは標準的な正則化MDPアルゴリズムを用いて解くことができ、スケーラビリティが著しく向上した。