[論文レビュー] On Oracle-Efficient PAC RL with Rich Observations

Christoph Dann, Nan Jiang+4 more|arXiv (Cornell University)|Mar 1, 2018

Auction Theory and Applications被引用数 20

ひとこと要約

この論文は、決定的かつ隠れ状態動的を持つ文脈的意思決定過程と豊富な観測を扱う、計算的に効率的でオラクルベースの強化学習アルゴリズム、Valorを提示する。コストセンシティブ分類と線形計画法オラクルを用いて、サンプル効率を達成する一方で、確率的動的下で既存のサンプル効率的アルゴリズム（Olive）がオラクルモデルにおいては効率的に実装できないこと、すなわち根本的な計算的障壁が存在することを示している。

ABSTRACT

We study the computational tractability of PAC reinforcement learning with rich observations. We present new provably sample-efficient algorithms for environments with deterministic hidden state dynamics and stochastic rich observations. These methods operate in an oracle model of computation -- accessing policy and value function classes exclusively through standard optimization primitives -- and therefore represent computationally efficient alternatives to prior algorithms that require enumeration. With stochastic hidden state dynamics, we prove that the only known sample-efficient algorithm, OLIVE, cannot be implemented in the oracle model. We also present several examples that illustrate fundamental challenges of tractable PAC reinforcement learning in such general settings.

研究の動機と目的

• 豊富な観測と決定的隠れ状態動的を持つ環境に対して、計算的に効率的な強化学習アルゴリズムの開発。
• 関数近似に基づくRLにおける統計的サンプル効率と計算的実行可能性のギャップの解消。
• 既知のサンプル効率的アルゴリズムが、計算のオラクルモデル内に実装可能かどうかの調査。
• 確率的隠れ状態遷移を伴うオラクル効率的PACRLにおける根本的な計算的障壁の同定。

提案手法

• コストセンシティブ分類と線形計画法オラクルを用いて、価値関数と方策を効率的に最適化するValorというアルゴリズムの設計。
• 標準的な最適化プリミティブを通じてのみ方策および価値関数クラスにアクセスするオラクルモデルで動作。
• 制約付き最適化による楽観的価値関数推定を用いて、探索を誘導。
• 平均価値制約を用いて、非最適な価値関数を排除しつつ、最適方策の同定を維持。
• Olive（一般のCDPにおけるサンプル効率的アルゴリズムとして知られる）が、確率的動的下ではオラクルモデルにおいては効率的に実装できないことを証明。
• 分離された価値関数と方策最適化フレームワークにおいて、二乗損失や期待値ベースの制約を用いることの障壁を示唆。

実験結果

リサーチクエスチョン

• RQ1 標準的な最適化オラクルのみを用いて、豊富な観測を伴うサンプル効率的強化学習を達成できるか？
• RQ2 一般のCDPにおいてサンプル効率的であることで知られるOliveアルゴリズムは、オラクルモデル内での計算的実行可能性があるか？
• RQ3 確率的隠れ状態遷移を伴う設定において、オラクル効率的RLの根本的な計算的障壁は何か？
• RQ4 二乗損失や期待値に基づく価値関数制約は、分離最適化フレームワークにおいて最適方策の同定を保持できるか？
• RQ5 最適価値関数の形状と構造が、効率的探索を可能にする役割を果たすか？

主な発見

• Valorは、決定的隠れ状態動的と豊富な観測を伴う文脈的意思決定過程において、計算的かつ統計的に効率的な最初のアルゴリズムである。
• 一般のCDPにおいて確率的動的を伴うサンプル効率的アルゴリズムとして知られるOliveは、オラクルモデルにおいては効率的に実装できないことが示され、計算的障壁が確立された。
• 平均価値制約のみを用いることは、最適価値関数の形状に関する情報を失う可能性があり、非最適方策で早期終了を引き起こすことがある。
• ロールアウト報酬に対する二乗損失制約は、最適価値関数と著しくバイアスがかかる悪い関数を区別できない。損失が小さくても同様である。
• 結果として、標準的な制約を用いた価値関数と方策最適化の分離フレームワークは、オラクル効率性に根本的な障害をもたらすことが示された。
• 本研究では、完全性型条件が、オラクル効率的RLにおけるFVIスタイルの学習手順の成功に不可欠であると特定した。