[論文レビュー] Algorithmic Framework for Model-based Deep Reinforcement Learning with Theoretical Guarantees

Yuping Luo, Huazhe Xu+4 more|arXiv (Cornell University)|Jul 10, 2018

Reinforcement Learning in Robotics参考文献 74被引用数 101

ひとこと要約

本論文は、データ依存の真の値の下界を最適化することで局所報酬最大値への単調改善を保証する、モデルベース深層強化学習のメタアルゴリズムを提案し、SLBOを実用的な具現化として導入して高いサンプル効率を実現する。

ABSTRACT

Model-based reinforcement learning (RL) is considered to be a promising approach to reduce the sample complexity that hinders model-free RL. However, the theoretical understanding of such methods has been rather limited. This paper introduces a novel algorithmic framework for designing and analyzing model-based RL algorithms with theoretical guarantees. We design a meta-algorithm with a theoretical guarantee of monotone improvement to a local maximum of the expected reward. The meta-algorithm iteratively builds a lower bound of the expected reward based on the estimated dynamical model and sample trajectories, and then maximizes the lower bound jointly over the policy and the model. The framework extends the optimism-in-face-of-uncertainty principle to non-linear dynamical models in a way that requires extit{no explicit} uncertainty quantification. Instantiating our framework with simplification gives a variant of model-based RL algorithms Stochastic Lower Bounds Optimization (SLBO). Experiments demonstrate that SLBO achieves state-of-the-art performance when only one million or fewer samples are permitted on a range of continuous control benchmark tasks.

研究の動機と目的

• 保証付きのモデルベース深層強化学習の理論的枠組みを動機づけ、構築する。
• 明示的な不確実性の定量化を必要とせず、モデル誤差と価値の改善を結び付ける下界分析を作成する。
• 連続制御タスクで高いサンプル効率を示す実用的なアルゴリズム（SLBO）を提供する。
• ダイナミクスモデルとポリシーの共同最適化を導くずれ境界を確立する。
• ロピチッチ基づく（Lipschitz-based）および表現不変なずれ境界を検討し、頑健性と適用性を向上させる。）

提案手法

• 真の値の下界を定義する： V^{π,M*} ≥ V^{π, M̂} − D^{π_ref, δ}(M̂, π)。
• M̂ = M* のときに消える、軌跡から推定可能で、参照ポリシー π_ref に依存する、ずれ境界 D を設計する。
• 参照ポリシー π_ref への近接性を制約しつつ、下限を最大化するように (π, M̂) を交互に最適化するメタアルゴリズム（Algorithm 1）を提案する。
• モデル予測誤差と価値のずれ（G^{π,M̂}）を関連付けるテレスコーピング補題を導入・分析する。
• 実用的な境界と、モデル学習のための確率的な多段予測損失を用いてフレームワークを具体化する。
• 一部の制約を省略し、モデル学習のために多段予測損失を用いた簡略化で実装可能な変種として、Stochastic Lower Bound Optimization (SLBO) を導出する。

実験結果

リサーチクエスチョン

• RQ1 モデルベース深層強化学習を、ポリシーとダイナミクスの両方を最適化する際に改善の理論的保証を付与できるか。
• RQ2 D^{π_ref}(M̂, π) は軌跡から推定可能で、モデルが正確なときは消えるように設計できるか。
• RQ3 提案されたフレームワークは、明示的な不確実性の定量化なしに、非線形・深い動的モデルへと楽観的（OFU）原理を拡張できるか。
• RQ4 効果的な Lipschitz ベースおよび表現不変のずれ境界は何で、実用的な学習と性能にどのような影響を与えるか。
• RQ5 SLBO の実装は、連続制御ベンチマークでサンプル効率の高い設定でどう機能するか。

主な発見

• 適切なずれ境界と解ける最適化部分問題の条件の下で、V^{π,M*} の単調改善を保証するメタアルゴリズムが開発される。
• 軌跡から推定可能で、モデリング精度および近傍条件を満たすずれ境界が導出され、M̂ と π の安全な共同最適化を可能にする。
• テレスコーピング補題が、モデルによる価値のずれを単一ステップの寄与に分解し、理論的保証を支援する。
• 表現不変のずれ境界を提案し、状態空間変換に対する頑健性を向上させる。
• 実用的なSLBO変種は、複数の連続制御タスクで1M以下のサンプルで最先端の性能を達成。
• この研究は、モデルベースRLとモデルなしのポリシー勾配法との誤差増幅と収束挙動の点で理論的基盤を提供し、両者を区別する。