[論文レビュー] The Importance of Pessimism in Fixed-Dataset Policy Optimization

Jacob Buckman, Carles Gelada+1 more|arXiv (Cornell University)|Sep 15, 2020

Advanced Bandit Algorithms Research参考文献 51被引用数 23

ひとこと要約

本論文は、固定データセット政策最適化（FDPO）における楽観的バイアスの理論的基盤を確立し、楽観的アルゴリズム—worst-case価値を最大化する方策を選択することで—データセットが不完全であっても強いサブオプティマルリティ保証を達成できることを示している。著者らは、過剰推定誤差を引き起こすナーヴィな手法が問題となる理由を説明するレジームバウンドを導出しており、これはMinAtarにおけるテーブル型およびディープRLの実験で検証された。

ABSTRACT

We study worst-case guarantees on the expected return of fixed-dataset policy optimization algorithms. Our core contribution is a unified conceptual and mathematical framework for the study of algorithms in this regime. This analysis reveals that for naive approaches, the possibility of erroneous value overestimation leads to a difficult-to-satisfy requirement: in order to guarantee that we select a policy which is near-optimal, we may need the dataset to be informative of the value of every policy. To avoid this, algorithms can follow the pessimism principle, which states that we should choose the policy which acts optimally in the worst possible world. We show why pessimistic algorithms can achieve good performance even when the dataset is not informative of every policy, and derive families of algorithms which follow this principle. These theoretical findings are validated by experiments on a tabular gridworld, and deep learning experiments on four MinAtar environments.

研究の動機と目的

• 固定データセット政策最適化（FDPO）における最悪ケース性能を分析する統一的な理論的枠組みを提供すること。
• 最大尤度推定と動的計画法に依存するナーヴィなFDPOアルゴリズムが直面する価値の過剰推定という根本的問題を特定すること。
• 楽観的バイアスの原則が、グローバルに情報的なデータセットに依存する必要を減らす解決策として正当化されることを示すこと。
• より優れたサブオプティマルリティ保証を達成する、原理的な楽観的アルゴリズムの族を導出すること。
• 理論的主張を、テーブル型グリッドワールドとMinAtar環境におけるディープRLの実験を通じて検証すること。

提案手法

• 代理目的関数を最適化する意思決定者に対して一般化されたレジームバウンドを導出し、サブオプティマルリティが過剰推定誤差の上界に依存することを示す。
• 楽観的バイアスの原則を、最悪ケース期待報酬を最大化する方策を選択することで形式化し、過剰推定の影響を最小化する。
• 楽観的アルゴリズムは、ナーヴィな手法とは異なり、すべての方策についてデータセットが情報的である必要がないことを示す。
• 理論的バウンドに基づいて、2つの原理的な楽観的アルゴリズムの族を提案する。
• MinAtar環境を用いて、ディープラーニング設定で1つの楽観的アルゴリズムを実装および評価する。
• 安定した学習を確保するため、包括的なハイパーパramータチューニングと、ターゲット更新毎にネットワークを完全に再初期化するなどの注意深い訓練プロトコルを採用する。

実験結果

リサーチクエスチョン

• RQ1 なぜナーヴィなFDPOアルゴリズムは、データセットがすべての方策について情報的でない場合、良好な性能を保証できないのか？
• RQ2 代理目的関数における価値の過剰推定が、固定データセット強化学習における悪い最悪ケースサブオプティマルリティを引き起こすメカニズムは何か？
• RQ3 楽観的バイアスの原則は、FDPOにおけるグローバルなデータセット情報性への依存をどのように低減するのか？
• RQ4 楽観的と非楽観的FDPOアルゴリズムの性能差を説明する理論的バウンドを導出可能か？
• RQ5 楽観的ディープRLアルゴリズムの安定した性能を達成するために、どのような実装上の配慮が重要か？

主な発見

• 最大尤度推定と動的計画法を用いるナーヴィなFDPOアルゴリズムは、関数近似がなくても、過剰推定誤差のため、最悪ケースサブオプティマルリティが著しく高くなる。
• ナーヴィなアルゴリズムのレジームは、過剰推定誤差の上界に依存しており、良好な性能を保証するためにはデータセットのグローバルな情報性が必要となる。
• 楽観的アルゴリズムは、過剰推定の影響を最悪ケース価値推定に注目することで低減することで、より優れたサブオプティマルリティ保証を達成する。
• 理論的バウンドは、楽観的バイアスがデータセットのグローバルな情報性への依存を低減することを示しており、これは疎なデータでも性能が安定することを意味する。
• テーブル型グリッドワールドにおける実験では理論的予測が確認され、楽観的アルゴリズムが限られたデータ下でもナーヴィな手法を上回ることを示した。
• MinAtarにおけるディープRLでは、特にターゲット更新毎のネットワーク完全再初期化と十分な内部ループ学習ステップ数が、安定的かつ高性能な楽観的学習を実現するために不可欠であった。