[論文レビュー] Bellman-consistent Pessimism for Offline Reinforcement Learning

Tengyang Xie, Ching-An Cheng+3 more|arXiv (Cornell University)|Jun 13, 2021

Reinforcement Learning in Robotics参考文献 39被引用数 16

ひとこと要約

この論文は、点ごとのボーナスではなく、ベルマン方程式を満たす価値関数の集合に対して懸念を強制するベルマン整合的懸念を、オフライン強化学習に導入する。線形MDPにおいて、従来のボーナスベースの手法と比較して、O(d)の改善を達成し、ハイパーパramータの調整なしに最適なバイアス・バリアンストレードオフに自動的に適応する。

ABSTRACT

The use of pessimism, when reasoning about datasets lacking exhaustive exploration has recently gained prominence in offline reinforcement learning. Despite the robustness it adds to the algorithm, overly pessimistic reasoning can be equally damaging in precluding the discovery of good policies, which is an issue for the popular bonus-based pessimism. In this paper, we introduce the notion of Bellman-consistent pessimism for general function approximation: instead of calculating a point-wise lower bound for the value function, we implement pessimism at the initial state over the set of functions consistent with the Bellman equations. Our theoretical guarantees only require Bellman closedness as standard in the exploratory setting, in which case bonus-based pessimism fails to provide guarantees. Even in the special case of linear function approximation where stronger expressivity assumptions hold, our result improves upon a recent bonus-based approach by $\mathcal{O}(d)$ in its sample complexity when the action space is finite. Remarkably, our algorithms automatically adapt to the best bias-variance tradeoff in the hindsight, whereas most prior approaches require tuning extra hyperparameters a priori.

研究の動機と目的

• ボーナスベースの懸念の限界を是正すること。これは、一般化性能が悪い場合に過剰に慎重になり、性能を低下させることがある。
• 一般関数近似と互換性があり、データセットのカバレッジ仮定を必要としない理論的裏付けのある懸念メカニズムを開発すること。
• カバレッジ仮定を必要とせず、ベルマン閉包性のみを仮定しても強い理論的保証を提供すること。
• 特に行動空間が小さい場合に、最新のボーナスベースの手法と比較して、線形MDPにおけるサンプル複雑度をO(d)改善すること。
• 事後的に最良のバイアス・バリアンストレードオフに適応できる実用的なアルゴリズムを設計し、事前のハイパーパramータの調整を不要にする。

提案手法

• ベルマン方程式を満たす価値関数の集合全体に対して懸念を強制する、新しい懸念原理を提案する。これは個々の価値推定に対してではなく、その集合に対してである。
• 情報理論的定式化を用いて、データに依存する最悪のMDPのもとで、任意のコンパレータ方策に対するレグレットを最小化する。
• ラグランジュ緩和とソフトポリシー反復を用いて、計算的に効率的な変種を開発する。これは価値関数クラス上の正則化された損失最小化オракルに依存する。
• 価値関数の更新に対する閉形式解を導出し、LSTDQを一般化し、初期状態に対するペナルティ項を介して懸念を組み込む。
• 行列代数とSVDに基づく証明を用いて、目的関数のヘッセ行列が半正定値であることを確立し、収束を保証する。
• 正則化が無限大に近づく極限においてLSTDQと接続し、懸念が除去された場合に標準的なLSTDQに還元されることを示す。

実験結果

リサーチクエスチョン

• RQ1 オフラインRLにおける懸念は、価値推定に対して点ごとに適用する代わりに、ベルマン方程式と整合的であるように再定義可能か？
• RQ2 ベルマン整合的懸念は、線形MDPにおいてボーナスベースの手法よりも優れたサンプル複雑度を達成するか？
• RQ3 提案手法は、カバレッジ仮定を必要とせず、ベルマン閉包性のみを仮定しても理論的保証を提供できるか？
• RQ4 アルゴリズムは、手動によるハイパーパramータの調整を必要とせず、最良のバイアス・バリアンストレードオフに自動的に適応できるか？
• RQ5 ラグランジュ緩和による実装と情報理論的定式化との間で、性能と安定性に差異は生じるか？

主な発見

• 情報理論的アルゴリズムは、標準的なカバレッジ仮定下でのレグレットバウンズと一致するが、それらを必要としない。
• 線形MDPの設定において、サンプル複雑度が、最高水準のボーナスベース手法と比較してO(d)改善される。
• ラグランジュ緩和とソフトポリシー反復に基づく実用的アルゴリズムは、効率的であり、価値関数クラス上の損失最小化オラクルを介して実装可能である。
• この手法は、事後的に最良のバイアス・バリアンストレードオフに自動的に適応し、事前のハイパーパラメータの調整を不要にする。
• 閉形式解はLSTDQを一般化し、懸念ペナルティが除去された場合に標準LSTDQに還元される。
• 理論的分析により、ヘッセ行列が半正定値であることが確認され、最適化手順の収束が保証される。