[論文レビュー] Sample Complexity of Robust Reinforcement Learning with a Generative Model

Kishan Panaganti, Dileep Kalathil|arXiv (Cornell University)|Dec 2, 2021

Reinforcement Learning in Robotics参考文献 29被引用数 7

ひとこと要約

本稿では、名目モデルが未知であるが生成モデルが利用可能な状況において、$\epsilon$-最適なロバスト方策を学習するためのモデルベース強化学習アルゴリズム、ロバスト経験的価値反復（REVI）を提案する。全変動、カイ二乗、KL発散という3つの不確実性集合に対して有限標本保証を確立し、シミュレーションから実世界への移行状況におけるロバスト方策の理論的利点を示している。

ABSTRACT

The Robust Markov Decision Process (RMDP) framework focuses on designing control policies that are robust against the parameter uncertainties due to the mismatches between the simulator model and real-world settings. An RMDP problem is typically formulated as a max-min problem, where the objective is to find the policy that maximizes the value function for the worst possible model that lies in an uncertainty set around a nominal model. The standard robust dynamic programming approach requires the knowledge of the nominal model for computing the optimal robust policy. In this work, we propose a model-based reinforcement learning (RL) algorithm for learning an $ε$-optimal robust policy when the nominal model is unknown. We consider three different forms of uncertainty sets, characterized by the total variation distance, chi-square divergence, and KL divergence. For each of these uncertainty sets, we give a precise characterization of the sample complexity of our proposed algorithm. In addition to the sample complexity results, we also present a formal analytical argument on the benefit of using robust policies. Finally, we demonstrate the performance of our algorithm on two benchmark problems.

研究の動機と目的

• 名目シミュレータモデルが未知であるが生成モデルが利用可能な状況において、ロバスト方策を学習する課題に対処すること。
• 全変動、カイ二乗、KL発散によって定義される不確実性集合において、非漸近的かつ有限標本の性能保証（標本複雑度）を強化学習のロバスト性に与えること。
• モデル不一致に起因するシミュレーションから実世界へのギャップがある状況において、ロバスト方策と非ロバスト方策の理論的優位性を明確にすること。
• 提案されたアルゴリズムの標本複雑度を非ロバスト強化学習の設定と比較して特徴づけ、ロバスト性がデータ効率に与える影響を示すこと。

提案手法

• 生成モデルからの標本を用いて$\epsilon$-最適なロバスト方策を学習するモデルベース強化学習手法として、ロバスト経験的価値反復（REVI）アルゴリズムを提案する。
• 一様集中不等式とカバー数の議論を用いて、ロバスト動的計画法における非線形性とバイアスを扱い、有限標本解析を可能にする。
• 全変動、カイ二乗、KL発散の各不確実性集合について、集中不等式を用いて経験的推定値と真のロバスト価値との乖離を分析することで、標本複雑度の境界を導出する。
• ロバストMDP理論からの双対性結果を用いて最適なロバスト価値関数を計算し、非ロバスト方策と比較する。
• 経験的ロバスト価値推定値のバイアスをバインドするための新しい解析手法を導入し、通常はバイアスなしの設定にのみ有効な集中不等式の適用を可能にする。
• 2つのモデル（$P^o$ と $P'$）を持つ決定的MDPの例を用いて、モデル不一致下での非ロバスト方策とロバスト方策の性能差を解析的に示す。

実験結果

リサーチクエスチョン

• RQ1 名目モデルが未知であるが生成モデルが利用可能な状況において、$\epsilon$-最適なロバスト方策を学習するための標本複雑度は何か？
• RQ2 全変動、カイ二乗、KL発散という異なる不確実性集合において、ロバスト強化学習の標本複雑度はどのように変化するか？
• RQ3 シミュレータモデルと実世界システムとの間に差異がある場合、ロバスト方策が非ロバスト方策を上回る理論的利点は何か？
• RQ4 生成モデルを用いたモデルベース設定において、ロバスト強化学習アルゴリズムに有限標本保証を確立できるか？
• RQ5 同じ性能要件と信頼水準を満たす条件下で、ロバスト強化学習の標本複雑度は非ロバスト強化学習と比べてどうなるか？

主な発見

• 全変動不確実性集合におけるREVIの標本複雑度は$\mathcal{O}\left(\frac{|\mathcal{S}|^{2}|\mathcal{A}|}{(1-\gamma)^{4}\varepsilon^{2}}\right)$であり、定数を除いて非ロバスト強化学習の複雑度と一致する。
• カイ二乗不確実性集合では、標本複雑度は$\mathcal{O}\left(\frac{c_{r}|\mathcal{S}|^{2}|\mathcal{A}|}{(1-\gamma)^{4}\varepsilon^{2}}\right)$であり、$c_r$はロバスト性パラメータである。
• KL不確実性集合では、標本複雑度は$\mathcal{O}\left(\frac{|\mathcal{S}|^{2}|\mathcal{A}|\exp(1/(1-\gamma))}{c_{r}^{2}(1-\gamma)^{4}\varepsilon^{2}}\right)$であり、割引因子の逆数に指数的依存が見られる。
• 本稿では、実世界のモデルとシミュレータモデルとの間に差異がある場合、ロバスト方策が非ロバスト方策よりも著しく優れた最悪ケース性能を達成できることを形式的に証明しており、性能差の下限が$\frac{\gamma}{198(1-\gamma)}$であることを示している。
• 提案されたアルゴリズムは、$\varepsilon$-最適性を高い確率（$1-\delta$）で達成するが、$k$および$N$の境界は$\varepsilon$、$\gamma$、$c_r$、$\delta$に依存する。
• 一様集中不等式とカバー数の議論を活用することで、経験的推定値にバイアスがある場合でも、ロバスト強化学習が確実に有限標本保証を伴って実現可能であることが示されている。