[論文レビュー] Provably Efficient Q-Learning with Low Switching Cost

Yu Bai, Tengyang Xie+2 more|arXiv (Cornell University)|Jan 1, 2019

Advanced Bandit Algorithms Research被引用数 22

ひとこと要約

本稿では、Hステップのエピソード的MDPに対して、サブラインアクレジットを達成し、Kエピソードの間に$O(H^3SA\log K)$のローカルスイッチングコストを有する、モデルフリーな強化学習アルゴリズムであるUCB2探索を用いたQ-Learningを提案する。本稿では、$Ω(HSA)$の一致する下界を確立し、適応性においてほぼ最適性を示し、並列設定への自然な拡張により、性能が向上することを示している。

ABSTRACT

We take initial steps in studying PAC-MDP algorithms with limited adaptivity, that is, algorithms that change its exploration policy as infrequently as possible during regret minimization. This is motivated by the difficulty of running fully adaptive algorithms in real-world applications (such as medical domains), and we propose to quantify adaptivity using the notion of \emph{local switching cost}. Our main contribution, Q-Learning with UCB2 exploration, is a model-free algorithm for $H$-step episodic MDP that achieves sublinear regret whose local switching cost in $K$ episodes is $O(H^3SA\log K)$, and we provide a lower bound of $\Omega(HSA)$ on the local switching cost for any no-regret algorithm. Our algorithm can be naturally adapted to the concurrent setting \citep{guo2015concurrent}, which yields nontrivial results that improve upon prior work in certain aspects.

研究の動機と目的

• 頻繁なポリシー更新が現実の応用において実用的でない状況を想定し、制限された適応性を有するPAC-MDPアルゴリズムを研究すること。
• ローカルスイッチングコスト（学習中に探索ポリシーが変更される回数）という概念を用いて、適応性を定量化すること。
• サブラインレジットを達成すると同時に、ポリシーのスイッチング頻度を最小限に抑えるモデルフリーなアルゴリズムを設計すること。
• エピソード的MDPにおける任意のノーレジットアルゴリズムのスイッチングコストに対する理論的下界を確立すること。
• 提案されたアルゴリズムを並列強化学習設定に拡張し、先行研究を上回る性能を達成すること。

提案手法

• Q学習更新とUCB2ベースの探索を組み合わせることで、探索と活用のバランスを取る、UCB2探索を用いたQ学習の提案。
• UCB2から得られる不確実性推定に基づく探索ボーナスを用い、低スイッチング頻度でポリシー選択をガイドする。
• $K$エピソードにおけるローカルスイッチングコストを分析し、$H$がホライズン、$S$が状態数、$A$が行動数であるとき、$O(H^3SA\log K)$のスケーリングであることを示す。
• 価値関数の更新頻度を制御することで、ポリシーのスイッチ数を制限するための新しい分析技術を適用する。
• 複数のエージェントが共有された経験を用いて並列に学習できるようにすることで、アルゴリズムを並列設定に適応し、有効なスイッチングコストを低減する。
• サブラインレジットを保証するレジット分析フレームワークを用い、低適応性を維持しながら性能を確保する。

実験結果

リサーチクエスチョン

• RQ1 エピソード的MDPにおける任意のノーレジットPAC-MDPアルゴリズムの最小ローカルスイッチングコストは何か？
• RQ2 モデルフリーなQ学習アルゴリズムは、エピソード的MDPにおいて、低スイッチングコストでサブラインレジットを達成できるか？
• RQ3 提案されたアルゴリズムは、先行研究と比較して並列強化学習設定でどのように性能を発揮するか？
• RQ4 提案されたスイッチングコストの上限はタイトなものか、あるいは改善可能か？
• RQ5 理論的保証を維持したまま、アルゴリズムを並列設定に自然に拡張できるか？

主な発見

• 提案されたUCB2探索を用いたQ学習は、Hステップのエピソード的MDPにおいて、ローカルスイッチングコスト$O(H^3SA\log K)$でサブラインレジットを達成する。
• 任意のノーレジットアルゴリズムに対して、ローカルスイッチングコストの下界$Ω(HSA)$が確立され、提案されたバウンドがほぼ最適であることが示された。
• アルゴリズムは並列設定に自然に適応可能であり、特定の条件下で先行研究よりも非自明な改善をもたらす。
• スイッチングコストはエピソード数$K$に関して対数的にスケーリングするため、時間経過に伴う効率的な適応が可能である。
• 理論的分析により、低適応性であってもレジット性能が損なわれないことが確認され、感受性の高い分野における実用的導入が可能である。
• 結果として、ポリシーのスイッチを最小限に抑えることが、モデルフリーRLにおける強力な学習性能を達成することと両立可能であることが示された。