[論文レビュー] Information-Theoretic Considerations in Batch Reinforcement Learning

Jing‐Lin Chen, Nan Jiang|arXiv (Cornell University)|May 1, 2019

Reinforcement Learning in Robotics参考文献 45被引用数 49

ひとこと要約

この論文は RL におけるバッチ値関数近似を分析し、情報理論的限界を証明し、 realizability と completeness の下で FQI とミニマックス変種の有限サンプル保証を提供し、 concentratability を含むモデルベース学習と値ベース学習の洞察を示す。

ABSTRACT

Value-function approximation methods that operate in batch mode have foundational importance to reinforcement learning (RL). Finite sample guarantees for these methods often crucially rely on two types of assumptions: (1) mild distribution shift, and (2) representation conditions that are stronger than realizability. However, the necessity ("why do we need them?") and the naturalness ("when do they hold?") of such assumptions have largely eluded the literature. In this paper, we revisit these assumptions and provide theoretical results towards answering the above questions, and make steps towards a deeper understanding of value-function approximation.

研究の動機と目的

• バッチRLにおける分布シフトおよび表現仮定の必要性を動機付け、形式化する。
• バッチ設定におけるベルマン誤差最小化のミニマックスレベルの視点を開発する。
• realizability と completeness の下で FQI およびそのミニマックス変種の有限サンプル保証を提供する。
• concentratability の役割とバッチRLにおけるサンプル複雑性の含意を明らかにする。

提案手法

• ベルマン誤差を近似するミニマックス回帰目的としてバッチ値関数近似を構成する。
• FQI をミニマックス目的の特殊例として関連付け、固定点挙動を論じる。
• realizability と completeness の2仮定フレームワークを用いて FQI とミニマックス変種の有限サンプル界を導出する。
• FQI のサンプル複雑性境界を導出: n = O(C log(|F|/δ) / (ε^2 (1−γ)^4))、ミニマックス法は n = O(C log(|F||G|/δ) / (ε^2 (1−γ)^4))。
• バッチ学習保証を concentratability に結びつけ、下界とモデルベース vs 値ベースのアプローチへの含意を議論する。

実験結果

リサーチクエスチョン

• RQ1 バッチRLにおける有限サンプル保証のために、緩やかな分布シフト（concentratability）と表現性（ realizability / completeness ）はなぜ必要か？
• RQ2 realizability と completeness の下で FQI とミニマックス変種は多項式なサンプル複雑性を達成できるか、またその速度はどう比較されるか？
• RQ3 information-theoretic な考察は completeness が仮定されていない場合の下界の存在について何を意味するか？
• RQ4 Bellman誤差最小化、状態抽象、PAC探索といった概念は、関数近似を伴うバッチRLとどう関連するか？
• RQ5 realizability のみでモデルベースRLが多項式サンプル複雑性を達成できる条件は？

主な発見

• FQI は realizability と completeness の下で n=O(C log(|F|/δ) / (ε^2 (1−γ)^4)) のサンプル複雑性でほぼ最適な方針を達成。
• ミニマックス変種は realizability と completeness の下で n=O(C log(|F||G|/δ) / (ε^2 (1−γ)^4)) でほぼ最適な方針を達成し、誤差の収束は n^{-1/2} で速い。
• FQI は minimax ベルマン誤差目的の近似として解釈でき、特定の条件下で固定点等価性を持つ。
• 本論は concentratability の必然性を示す正式な下界 Argument を提供: MDP ダイナミクスに対する制約なしには多項式サンプル複雑性は否定される。
• モデルベースRLの結果は realizability のみで多項式サンプル複雑性を達成できることを示し、関数近似下のバッチモデルベースと値ベースRLの分離を示唆。
• 著者は concentratability が低い自然な例を論じ、結果を状態抽象化や関連するRL文献のPAC探索と関連付ける。