[論文レビュー] Q* Approximation Schemes for Batch Reinforcement Learning: A Theoretical Comparison

Tengyang Xie, Nan Jiang|arXiv (Cornell University)|Mar 9, 2020

Reinforcement Learning in Robotics参考文献 27被引用数 16

ひとこと要約

本稿では、最適Q値関数 $Q^\star$ の近似を目的とした、2つのバッチ強化学習アルゴリズム、MSBO および MABO の導入と理論的分析を行う。MABO は明示的な重要度重み補正と平均損失目的関数を用い、誤差伝播をホライズンに線形に保つことで、古典的手法の2次的依存性を回避し、分布シフトのより緊密な特徴付けと、二乗損失に基づく手法よりも直接的な性能保証を可能にする。

ABSTRACT

We prove performance guarantees of two algorithms for approximating $Q^\star$ in batch reinforcement learning. Compared to classical iterative methods such as Fitted Q-Iteration---whose performance loss incurs quadratic dependence on horizon---these methods estimate (some forms of) the Bellman error and enjoy linear-in-horizon error propagation, a property established for the first time for algorithms that rely solely on batch data and output stationary policies. One of the algorithms uses a novel and explicit importance-weighting correction to overcome the infamous "double sampling" difficulty in Bellman error estimation, and does not use any squared losses. Our analyses reveal its distinct characteristics and potential advantages compared to classical algorithms.

研究の動機と目的

• Fitted Q-Iteration などの古典的バッチ強化学習アルゴリズムにおけるホライズンに2次的に依存する問題を解消し、より良い性能保証を得ること。
• 逐次的密度比の定義に頼らず、より緊密な濃縮係数を用いて分布シフトを特徴付ける、バッチ強化学習アルゴリズムの理論的枠組みを構築すること。
• 最適化目的（二乗損失）と実際の性能指標（期待報酬）のギャップを小さくするために、二乗損失の代わりに平均損失目的関数を用いること。
• 特に重要度重み付き関数クラスによる表現力の向上により、弱い関数近似仮定のもとでも、保証可能な性能を達成すること。

提案手法

• ベルマン誤差の推定に二乗損失ではなく単純な平均損失を用いることで、性能保証における間接的緩和を回避する、新たなミニマックスアルゴリズム MABO を導入する。
• ベルマン誤差推定における二重サンプリング問題を解消するために、明示的な重要度重み補正を採用し、インタラクティブなロールアウトなしにバッチデータを活用可能にする。
• 重要度重み $w_{\frac{d_{\pi_Q}}{\mu}}$ を表現するための補助関数クラス $\mathcal{W}$ を用い、平均ベルマン誤差を正確に近似可能にする。
• テレスコピング引数を適用して、ホライズンに線形な誤差伝播を証明し、Fitted Q-Iteration などの既存手法が抱える $\mathcal{O}(1/(1-\gamma)^2)$ の依存性を改善する。
• 占有測度に基づく濃縮係数を用いて性能保証を確立し、従来の逐次的定義よりもより緊密なものを得る。
• 低ランク MDP 動作の下では、$O(k)$ 個の要素を持つ単純な $\mathcal{W}$ が、$\varepsilon_{\mathcal{Q},\mathcal{W}}^{\mathrm{avg}} = 0$ となるゼロ近似誤差を達成できることを示し、統計的複雑性を増加させることなく表現力を向上させる。

実験結果

リサーチクエスチョン

• RQ1 インタラクティブな環境アクセスや既知の遷移モデルが不要な状況でも、バッチ強化学習アルゴリズムがホライズンに線形な誤差伝播を達成できるか？
• RQ2 逐次的密度比ではなく、より緊密で解釈性の高い濃縮係数を用いて、バッチ強化学習における分布シフトを特徴付けられるか？
• RQ3 平均損失目的関数が、二乗損失に代わって、最適化目的と性能指標のギャップを小さくできるか？
• RQ4 明示的な重要度重み補正により、バッチ設定下でのベルマン誤差推定における二重サンプリングの必要性が排除できるか？
• RQ5 統計的複雑性を増加させることなく、$\mathcal{W}$ のような構造的補助クラスによって関数近似器の表現力を向上させられるか？

主な発見

• MABO はホライズンに線形な誤差伝播を達成し、Fitted Q-Iteration などの古典的手法が抱える $\mathcal{O}(1/(1-\gamma)^2)$ の依存性を改善する。
• MABO の性能損失は $\frac{2\|Q - Q^\star\|_\infty}{1 - \gamma}$ で有界であり、これは線形依存性の理論的下界と一致し、最適である。
• MABO は平均損失と明示的かつ重要度重みを用いるため、二乗損失から平均損失への変換に起因する緩みを回避し、より直接的かつ緊密な性能保証が得られる。
• MABO における分布シフトの効果は、1つのタイトな濃縮係数 $C_{\mathrm{eff},\mathcal{W}}$ で特徴付けられ、逐次的定義よりもはるかに単純かつ効果的である。
• 低ランク MDP では、$\mathcal{W}$ のサイズが $O(k+1)$ で十分であり、$w_{\frac{d_{\pi_Q}}{\mu}}$ が $\mathrm{sp}(\mathcal{W})$ に属さない場合でも、$\varepsilon_{\mathcal{Q},\mathcal{W}}^{\mathrm{avg}} = 0$ となるゼロ近似誤差を達成できる。これは $\mathcal{Q}$ の線形構造のおかげである。
• MABO の統計的レートには、重要度重みによる $C_{\infty,\mathcal{W}}/n$ 項が含まれるが、十分なデータがあればこの項は無視できるようになる。