[論文レビュー] Provably Efficient $Q$-learning with Function Approximation via Distribution Shift Error Checking Oracle

Simon S. Du, Yuping Luo+2 more|arXiv (Cornell University)|Jun 14, 2019

Reinforcement Learning in Robotics参考文献 40被引用数 9

ひとこと要約

本稿では、確率的時刻分割MDPにおける線形関数近似を用いたQ学習のための、証明可能に効率的なアルゴリズムである差分最大化Q学習（DMQ）を提示する。分布シフト誤差チェック（DSEC）オラクルを導入することで、新しい探索が一般化を改善するかどうかを検出でき、正則性仮定の下で多項式的サンプル複雑性を保証し、ϵ-最適方策に収束することを示している。

ABSTRACT

$Q$-learning with function approximation is one of the most popular methods in reinforcement learning. Though the idea of using function approximation was proposed at least 60 years ago, even in the simplest setup, i.e, approximating $Q$-functions with linear functions, it is still an open problem on how to design a provably efficient algorithm that learns a near-optimal policy. The key challenges are how to efficiently explore the state space and how to decide when to stop exploring in conjunction with the function approximation scheme. The current paper presents a provably efficient algorithm for $Q$-learning with linear function approximation. Under certain regularity assumptions, our algorithm, Difference Maximization $Q$-learning (DMQ), combined with linear function approximation, returns a near-optimal policy using a polynomial number of trajectories. Our algorithm introduces a new notion, the Distribution Shift Error Checking (DSEC) oracle. This oracle tests whether there exists a function in the function class that predicts well on a distribution $\mathcal{D}_1$, but predicts poorly on another distribution $\mathcal{D}_2$, where $\mathcal{D}_1$ and $\mathcal{D}_2$ are distributions over states induced by two different exploration policies. For the linear function class, this oracle is equivalent to solving a top eigenvalue problem. We believe our algorithmic insights, especially the DSEC oracle, are also useful in designing and analyzing reinforcement learning algorithms with general function approximation.

研究の動機と目的

• 確率的MDPにおける関数近似を伴うQ学習のための、証明可能に効率的なアルゴリズムを設計するという長年の未解決問題に取り組む。
• 関数近似の文脈における、効率的な探索と適切な終了の二重の課題を克服する。
• 線形関数クラスを用いて、サンプル効率性と近似的最適方策への収束に関する理論的保証を提供する。
• 異なる方策によって誘発される状態分布の分布シフトを基に、適応的探索を可能にする、新規のアルゴリズム的プリミティブ（DSECオラクル）を導入する。

提案手法

• 差分最大化Q学習（DMQ）を提案し、新しい分布シフト誤差チェック（DSEC）オラクルを用いて、新しい探索が有益であるかどうかを検出する。
• DSECオラクルを、関数クラス内の関数が現在の方策由来の分布ではうまく予測できるが、新しい探索方策由来の分布ではうまく予測できないかどうかをテストするものとして定義する。
• 線形関数クラスの場合、DSECオラクルは最大固有値問題に帰着され、計算が効率的に行える。
• 状態分布の共分散行列に基づくポテンシャル関数の議論を用いて、DSECオラクルが「True」と返す回数の上限を示す。
• 古典的な線形回帰解析を活用し、現在の方策の状態分布におけるQ値推定の正確性を保証する。
• オラクルのフィードバックと方策改善ステップを組み合わせ、繰り返し探索された方策の集合を拡大することで、過剰な探索を避けつつ収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 確率的時刻分割MDPにおける線形関数近似を用いた、証明可能に効率的なQ学習アルゴリズムを設計することは可能か？
• RQ2 関数近似による状態間の一般化を確保しつつ、状態空間を効率的に探索するにはどうすればよいか？
• RQ3 関数近似が分布間で誤って一般化する可能性がある場合、どこで探索を停止すべきかを示すメカニズムは何か？
• RQ4 DSECオラクルは、有用な新しい情報の兆候となる分布シフトを検出できるか？ そして収束までにそのようなシフトは最大で何回発生するか？
• RQ5 線形関数クラスの文脈において、共分散行列に基づくポテンシャル関数の議論を用いて、探索ステップ数を上限づけることは可能か？

主な発見

• 正則性仮定の下で、DMQは多項式的（1/ϵ）の軌道数を用いてϵ-部分最適方策を返す。これは、確率的設定における線形関数近似を伴うQ学習で、初めての証明可能に効率的なアルゴリズムを確立するものである。
• 線形関数クラスにおいて、DSECオラクルが「True」と返す回数は、多項式的回数に限定され、探索の有限性と有界性を保証する。
• 共分散行列に基づくポテンシャル関数の議論により、探索中に追加される異なる方策の数が多項式的に有界であることが証明された。
• アルゴリズムは多項式時間で実行され、1/ϵ（所望の精度の逆数）に多項式的にスケーリングするサンプル複雑性を達成する。
• 理論的枠組みは線形関数を超えて一般化可能である：DSECオラクルおよびアルゴリズム的構造は、VC次元が有界な関数クラスを含む一般関数クラスに対しても適用可能である。
• 過剰にパラメータ化されたニューラルネットワークが、小さい再生ヒルバート空間ノルムを持つカーネル予測子を介して解析可能であるという示唆により、深層Q学習への証明的保証の拡張に基盤を築いた。