[論文レビュー] Risk Bounds and Rademacher Complexity in Batch Reinforcement Learning

Yaqi Duan, Chi Jin+1 more|arXiv (Cornell University)|Mar 25, 2021

Reinforcement Learning in Robotics参考文献 14被引用数 14

ひとこと要約

この論文は、最小限の仮定の下で一般化性能を特徴付けるためにレーデマッチャー複雑度を用いたバッチ強化学習のリスクバインドを確立する。二重サンプリングでは、経験的リスク最小化の過剰リスクがレーデマッチャー複雑度によってバインドされ、単一サンプリングでは、FQIおよびミニマックス型アルゴリズムに対して完全性仮定が成り立つ場合にそのようなバインドが成り立つ。また、局所的レーデマッチャー複雑度を用いることで高速レートが達成可能である。

ABSTRACT

This paper considers batch Reinforcement Learning (RL) with general value function approximation. Our study investigates the minimal assumptions to reliably estimate/minimize Bellman error, and characterizes the generalization performance by (local) Rademacher complexities of general function classes, which makes initial steps in bridging the gap between statistical learning theory and batch RL. Concretely, we view the Bellman error as a surrogate loss for the optimality gap, and prove the followings: (1) In double sampling regime, the excess risk of Empirical Risk Minimizer (ERM) is bounded by the Rademacher complexity of the function class. (2) In the single sampling regime, sample-efficient risk minimization is not possible without further assumptions, regardless of algorithms. However, with completeness assumptions, the excess risk of FQI and a minimax style algorithm can be again bounded by the Rademacher complexity of the corresponding function classes. (3) Fast statistical rates can be achieved by using tools of local Rademacher complexity. Our analysis covers a wide range of function classes, including finite classes, linear spaces, kernel spaces, sparse linear features, etc.

研究の動機と目的

• 一般化をレーデマッチャー複雑度を用いて分析することで、統計的学習理論とバッチ強化学習を結びつける。
• バッチRLにおける信頼性のあるベルマン誤差推定と最小化のための最小限の仮定を同定する。
• 一般関数クラスを用いて、監視学習からのリスクバインドを価値関数近似への拡張する。
• ベルマン誤差が最適性ギャップの有効なサーヴィレートである条件を確立する。
• 局所的レーデマッチャー複雑度のツールを用いて高速統計的レートを導出する。

提案手法

• 価値関数近似における最適性ギャップのサーヴィレートとしてベルマン誤差を扱う。
• 二重サンプリング設定において、経験的リスク最小化（ERM）の過剰リスクをレーデマッチャー複雑度によってバインドする。
• 単一サンプリング設定を分析し、完全性仮定がなければサンプル非効率性が生じることを証明する。
• 完全性仮定を適用して、FQIおよびミニマックス型アルゴリズムのレーデマッチャー複雑度バインドを回復する。
• 局所的レーデマッチャー複雑度を用いて高速統計的レートを達成する。
• レーデマッチャー複雑度の収縮性質を用いて非線形関数クラスを扱う。

実験結果

リサーチクエスチョン

• RQ1 ベルマン誤差をバッチRLで信頼性高く最小化できる最小限の仮定は何か？
• RQ2 一般関数クラスの下で、レーデマッチャー複雑度がバッチRLアルゴリズムの過剰リスクをバインドできるか？
• RQ3 追加の仮定がなければ、なぜ単一サンプリングではサンプル効率の良いリスク最小化が不可能なのか？
• RQ4 完全性仮定が単一サンプリングにおける一般化保証をどのように回復するのか？
• RQ5 局所的レーデマッチャー複雑度はバッチRLで高速統計的レートを達成できるか？

主な発見

• 二重サンプリング設定では、ほとんど仮定がなくても、ERMの過剰リスクは関数クラスのレーデマッチャー複雑度によってバインドされる。
• 単一サンプリングでは、完全性仮定が成り立たなければ、多項式的サンプルスケーリングなしではいかなるアルゴリズムでも小さな過剰リスクを達成できない。
• 完全性が成り立つ場合、FQIおよびミニマックス型アルゴリズムの過剰リスクは、それぞれの関数クラスのレーデマッチャー複雑度によってバインドされる。
• 局所的レーデマッチャー複雑度のツールを用いることで、高速統計的レートが達成可能である。
• 分析は、有限クラス、線形空間、カーネル空間、スパース線形特徴など、多様な関数クラスに適用可能である。
• 結果は、レーデマッチャー複雑度を介して統計的学習理論とバッチRLを結ぶ理論的基盤を確立する。