[論文レビュー] Finite Sample Analysis of Minimax Offline Reinforcement Learning: Completeness, Fast Rates and First-Order Efficiency

Masatoshi Uehara, Masaaki Imaizumi+4 more|arXiv (Cornell University)|Feb 5, 2021

Reinforcement Learning in Robotics参考文献 51被引用数 14

ひとこと要約

本稿は、オフポリシー評価（OPE）におけるミニマックスオフライン強化学習の有限標本解析を提供し、実現可能性および完全性の仮定の下で、$q$-関数およびマージナル重要度重みの両方の高速収束レートを確立する。非定型設定における1次効率的OPEを可能にする、新しい完全性条件を導入し、漸近的分散の主要項における最小の分散係数を達成する。

ABSTRACT

We offer a theoretical characterization of off-policy evaluation (OPE) in reinforcement learning using function approximation for marginal importance weights and $q$-functions when these are estimated using recent minimax methods. Under various combinations of realizability and completeness assumptions, we show that the minimax approach enables us to achieve a fast rate of convergence for weights and quality functions, characterized by the critical inequality \citep{bartlett2005}. Based on this result, we analyze convergence rates for OPE. In particular, we introduce novel alternative completeness conditions under which OPE is feasible and we present the first finite-sample result with first-order efficiency in non-tabular environments, i.e., having the minimal coefficient in the leading term.

研究の動機と目的

• オフライン強化学習におけるオフポリシー評価（OPE）のミニマックス推定量の有限標本理論的解析を提供すること。
• 実現可能性および完全性の仮定の下で、ミニマックス推定された$ q $-関数およびマージナル重要度重みの高速収束レートを確立すること。
• 非定型設定におけるOPEの実現可能性を保証する新しい完全性条件を導入すること。
• これらの条件下で、OPEにおける1次効率性を達成すること——すなわち、漸近的分散の主要項における係数を最小化すること。
• 安定化項を含むミニマックスフレームワークを用いて、$ q $-関数および$ w $-関数推定の分析を統一すること。

提案手法

• 評価方策$\pi^e$、行動方策$\pi^b$、割引報酬$J$を有するマルコフ決定過程（MDP）におけるOPEを形式化する。
• 関数クラスとレビュアーの間のゼロサムゲームとして、$ q $-関数および$ w $-関数（重要度重み）をミニマックス推定により学習する。
• 一般化および安定性の向上を目的に、ミニマックス目的関数に安定化項を導入する。
• 積$ w $と$ q $関数からなる関数クラス$\mathcal{G}$の被覆数を分析し、関連関数空間の複雑さを制限する。
• ReLUおよびReLUに類似した活性化関数を有するニューラルネットワークの被覆数の境界を適用し、ラデマッハ複雑度による一般化誤差の境界を導出する。
• 臨界不等式フレームワーク（Bartlett et al., 2005）を用いて有限標本収束レートを導出する。推定誤差と被覆数および標本サイズの関係を結びつける。

実験結果

リサーチクエスチョン

• RQ1 ミニマックス推定量が、オフラインRLにおける$ q $-関数および$ w $-関数の高速有限標本収束レートを達成できる条件は何か？
• RQ2 どのような新しい完全性条件が、非定型的かつ関数近似設定におけるOPEの実現可能性と効率性を可能にするか？
• RQ3 関数近似下でOPEにおける1次効率性を達成できるか？ すなわち、漸近的分散の主要項における係数を最小化できるか？
• RQ4 ミニマックス目的関数に安定化項を含めることで、$ q $-および$ w $-関数推定量の一般化および収束特性にどのような影響を与えるか？
• RQ5 関数クラスの複雑さ（被覆数を介して）は、OPEの有限標本誤差境界を決定づける役割を果たすか？

主な発見

• 本稿は、実現可能性および完全性の仮定の下で、ミニマックス推定された$ q $-関数および$ w $-関数の高速収束レートを確立し、臨界不等式（Bartlett et al., 2005）によって特徴づけられる。
• 非定型環境におけるOPEの実現可能性を保証する新しい完全性条件を導入し、従来の結果を関数近似設定へと拡張する。
• 非定型オフラインRLにおける1次効率性を達成する、最初の有限標本結果を得た。これは、漸近的分散の主要項における分散係数が最小化されていることを意味する。
• 関数$ w $と$ q $の積からなる関連関数クラス$\mathcal{G}$の被覆数は、$ N_W N_Q $-被覆集合を用いて制限され、誤差は$ \varepsilon_1 $および$ \varepsilon_2 $-ネットによって制御される。
• ReLU活性化関数を有するニューラルネットワークに対しては、$ \log \mathcal{N}(\tau, \mathcal{F}_{NN}, \|\cdot\|_\infty) \leq \Omega \log(\text{poly}(B, L, \Omega)/\tau) $ と被覆数が境界づけられ、有限標本解析が可能になる。
• ラデマッハ複雑度の境界を用いて一般化誤差を導出し、提案された仮定の下でミニマックス推定量が最適レートを達成することを示した。