[論文レビュー] Fast Rates for the Regret of Offline Reinforcement Learning

Yichun Hu, Nathan Kallus+1 more|arXiv (Cornell University)|Jan 31, 2021

Advanced Bandit Algorithms Research参考文献 36被引用数 4

ひとこと要約

この論文は、品質関数推定の点ごとの誤差の累乗に比例するレグレットのスケーリングを示すことにより、オフライン強化学習における高速なレグレット収束レートを確立する。線形MDPでは$O(1/n)$のレートが得られ、表形式MDPでは$/\exp(-\bigOmega(n))$のレートが得られる。分析は問題固有のノイズレベル（マージン条件）を活用し、一般関数近似における$L_p$に基づく保証へと拡張される。

ABSTRACT

We study the regret of reinforcement learning from offline data generated by a fixed behavior policy in an infinite-horizon discounted Markov decision process (MDP). While existing analyses of common approaches, such as fitted $Q$-iteration (FQI), suggest a $O(1/\sqrt{n})$ convergence for regret, empirical behavior exhibits \emph{much} faster convergence. In this paper, we present a finer regret analysis that exactly characterizes this phenomenon by providing fast rates for the regret convergence. First, we show that given any estimate for the optimal quality function $Q^*$, the regret of the policy it defines converges at a rate given by the exponentiation of the $Q^*$-estimate's pointwise convergence rate, thus speeding it up. The level of exponentiation depends on the level of noise in the \emph{decision-making} problem, rather than the estimation problem. We establish such noise levels for linear and tabular MDPs as examples. Second, we provide new analyses of FQI and Bellman residual minimization to establish the correct pointwise convergence guarantees. As specific cases, our results imply $O(1/n)$ regret rates in linear cases and $\exp(-Ω(n))$ regret rates in tabular cases. We extend our findings to general function approximation by extending our results to regret guarantees based on $L_p$-convergence rates for estimating $Q^*$ rather than pointwise rates, where $L_2$ guarantees for nonparametric $Q^*$-estimation can be ensured under mild conditions.

研究の動機と目的

• 理論的$O(1/\sqrt{n})$レグレットバウンドとオフラインRLにおける実験的高速収束の間の乖離を説明すること。
• 推定誤差だけでなく、意思決定問題におけるノイズレベル（マージン条件）に基づいて、レグレット収束レートを特徴づけること。
• FQI や修正ベルマン残差最小化のような値ベースのオフラインRL手法に対するより緊密なレグレットバウンドを提供すること。
• 点誤差を超えて一般関数近似における$L_p$-ノルム保証、特に$L_2$への分析を拡張すること。
• 分類における高速レート解析とRL理論、およびオフライン学習の経験的リスク最小化手法を統合すること。

提案手法

• Q^*の点誤差の累乗に依存する新しいレグレットバウンドを導入し、その累乗の指数は問題のマージン条件によって決定される。
• 2番目に良い行動のサブオプティマルな差の0付近の密度によって定義されるマージン条件を用い、問題固有のノイズレベルを捉える。
• パフォーマンス差分補題とマルコフ不等式を用いて、Q^*推定誤差とマージンパrameter $\delta_0$ に基づいてポリシーのレグレットをバウンドする。
• 完全性と特徴量カバレッジの仮定の下で、FQIおよび修正ベルマン残差最小化の点誤差収束保証を確立する。
• 結果を$L_p$-ノルム収束に拡張し、$L_2$-保証がやや厳しい条件下でも、同じ累乗メカニズムにより高速レグレットレートを導くことを示す。
• 高速レート分類（Audibert & Tsybakov, 2007）、RL理論（Agarwal et al., 2020a）、経験的リスク最小化（Wainwright, 2019）の技術を統合する。

実験結果

リサーチクエスチョン

• RQ1 FQI などのオフラインRL手法が理論的バウンドが$O(1/\sqrt{n})$を示唆するのにもかかわらず、実際には$O(1/\sqrt{n})$より速いレグレット収束を示すのはなぜか？
• RQ2 理論的と実験的レグレットレートのギャップは、マージン条件のような問題固有のノイズレベルによって説明可能か？
• RQ3 Q^*推定の点誤差収束レートと、それらから導かれるグリーディポリシーのレグレットとの正確な関係は何か？
• RQ4 完全性と特徴量カバレッジの標準仮定の下で、FQI や修正ベルマン残差最小化の高速レグレットレートを確立できるか？
• RQ5 一般関数近似におけるQ^*推定の$L_p$-ノルム収束、特に$L_2$への分析をどのように拡張できるか？

主な発見

• Q^*推定から導かれるグリーディポリシーのレグレットは、点誤差の累乗に比例するレートで収束し、その累乗の指数は問題のマージン条件に依存する。
• 線形MDPでは、標準仮定のもとで、FQIおよび修正ベルマン残差最小化は$O(1/n)$のレグレットレートを達成する。
• 表形式MDPでは、レグレットは$\exp(-\Omega(n))$の指数的レートで収束し、$O(1/\sqrt{n})$よりも著しく速い。
• マージン条件は一般的に線形および表形式MDPで強く、推定誤差が$O(1/\sqrt{n})$である場合でも高速レグレットレートを可能にする。
• 一般関数近似においては、やや厳しい条件下で$Q^*$推定の$L_2$収束が、同じ累乗メカニズムを通じて高速レグレットレートをもたらす。
• 分析は、分類における高速レート技術とRL、およびERMを統合し、点誤差または$L_p$-ベースの$Q^*$推定保証を持つ任意の値ベースのオフラインRL手法に適用可能なフレームワークを提供する。