[論文レビュー] Near-Optimal Provable Uniform Convergence in Offline Policy Evaluation for Reinforcement Learning

Minghao Yin, Yu Bai+1 more|arXiv (Cornell University)|Jul 7, 2020

Reinforcement Learning in Robotics被引用数 24

ひとこと要約

本稿は強化学習におけるオフライン方策評価（OPE）のための均一収束フレームワークを導入し、一度にすべての方策クラスを評価するための証明可能な近似的最適なサンプル複雑度を実現する。モデルベースの計画法とオフライン方策経験モデル近似器（OPEMA）を用いることで、時不変でない繰り返しMDP（MDP）下で、$̂{O}(H^3 / (d_m \epsilon^2))$ の最適なエピソード複雑度を達成し、オフラインRLにおける最初の証明可能な最適レートを達成する。

ABSTRACT

The problem of Offline Policy Evaluation (OPE) in Reinforcement Learning (RL) is a critical step towards applying RL in real-life applications. Existing work on OPE mostly focus on evaluating a fixed target policy $π$, which does not provide useful bounds for offline policy learning as $π$ will then be data-dependent. We address this problem by simultaneously evaluating all policies in a policy class $Π$ -- uniform convergence in OPE -- and obtain nearly optimal error bounds for a number of global / local policy classes. Our results imply that the model-based planning achieves an optimal episode complexity of $\widetilde{O}(H^3/d_mε^2)$ in identifying an $ε$-optimal policy under the time-inhomogeneous episodic MDP model ($H$ is the planning horizon, $d_m$ is a quantity that reflects the exploration of the logging policy $μ$). To the best of our knowledge, this is the first time the optimal rate is shown to be possible for the offline RL setting and the paper is the first that systematically investigates the uniform convergence in OPE.

研究の動機と目的

• オフラインRLにおける一般化にとって不可欠な、オフライン方策評価（OPE）の均一収束解析のギャップを埋めること。
• 特定の固定方策だけでなく、与えられた方策クラス $\Pi$ 内のすべての方策に対して推定誤差を一様に束縛する有限サンプル保証を提供すること。
• 時不変でない繰り返しMDPモデル下でのオフライン方策学習における最初の証明可能な最適なエピソード複雑度を確立すること。
• モデルベース計画と均一OPEを組み合わせることで、タイトな理論的境界を有するサンプル効率の良いオフライン学習が可能であることを示すこと。

提案手法

• オフラインデータから直接状態-行動分布、遷移モデル、報酬関数を推定する、新しいオフライン方策経験モデル近似器（OPEMA）を提案する。
• 初期状態分布に対してオンポリシー経験推定を用い、目的方策の推定遷移ダイナミクスを用いて反復的に伝搬する。
• すべての時間ステップおよび方策に対して推定誤差を制御するために、均一集中不等式とマルティングールベースの境界を適用する。
• 価値推定誤差をモデル誤差と価値関数誤差の成分に分解し、再帰的誤差伝播解析を可能にする。
• 推定と計画を分離するために、架空のOPEMA推定器を導入し、理論的解析を容易にする。
• 情報理論的下界を用いてエピソード複雑度の境界を導出し、提案手法のタイトさを確立する。

実験結果

リサーチクエスチョン

• RQ1 グローバル、決定的、および局所最適な方策を含む広範な方策クラスに対して、証明可能な有限サンプル保証のもとで、OPEにおける均一収束を確立できるか？
• RQ2 時不変でない繰り返しMDPモデル下でのオフライン方策学習における最適なサンプル複雑度は何か？ そして、モデルベース計画法を用いて達成可能か？
• RQ3 ログ記録方策 $\mu$ の探索品質（$d_m$ で測定）は、オフライン方策評価および学習のサンプル効率にどのように影響するか？
• RQ4 提案されたOPEMA推定器は、オフラインRLにおける情報理論的下界に達しているか？
• RQ5 データ分割に基づく推定器は、統一的でないOPEMAフレームワークに比べ、サンプル効率および実装の明確さにおいて上回れるか？

主な発見

• 提案されたOPEMA推定器は、高確率で方策クラス $\Pi$ 全体にわたる均一収束を達成し、$\sup_{\pi \in \Pi} |\widehat{v}^\pi - v^\pi| \leq \epsilon$ を保証する。
• エピソード複雑度は $\widetilde{O}(H^3 / (d_m \epsilon^2))$ であり、対数要因を除いて情報理論的下界と一致する。
• グローバルおよび決定的方策クラスにおいて、均一集中不等式とマルティングール不等式を用いて、ほぼ最適な誤差境界を達成する。
• 解析により、標準的なシミュレーション補題に基づくアプローチは、OPEMAフレームワークにおけるよりタイトな再帰的誤差伝播により、$H^2 S$ の要因で改善可能であることが示される。
• 均一OPEのためのサンプル複雑度の下界を確立し、導出されたレートが対数要因を除いて最適であることを証明する。
• OPEMAフレームワークは、データ分割法の欠点（データの非効率的使用と遷移モデル選択の曖昧さ）を回避する。