[論文レビュー] On Optimistic versus Randomized Exploration in Reinforcement Learning

Ian Osband, Benjamin Van Roy|arXiv (Cornell University)|Jun 13, 2017

Evolutionary Algorithms and Applications参考文献 2被引用数 9

ひとこと要約

この論文は強化学習における楽観的探索と確率的探索を比較し、後方確率に基づく探索割り当てにより、統計的効率性が向上する確率的アプローチ（例：トムソンサンプリング）が優れていることを示している。一方、標準的な楽観的手法は、状態空間のスケーリングに伴い不整合な不確実性評価を行うため、統計的効率性を犠牲にしているが、計算的に扱いやすい。

ABSTRACT

We discuss the relative merits of optimistic and randomized approaches to exploration in reinforcement learning. Optimistic approaches presented in the literature apply an optimistic boost to the value estimate at each state-action pair and select actions that are greedy with respect to the resulting optimistic value function. Randomized approaches sample from among statistically plausible value functions and select actions that are greedy with respect to the random sample. Prior computational experience suggests that randomized approaches can lead to far more statistically efficient learning. We present two simple analytic examples that elucidate why this is the case. In principle, there should be optimistic approaches that fare well relative to randomized approaches, but that would require intractable computation. Optimistic approaches that have been proposed in the literature sacrifice statistical efficiency for the sake of computational efficiency. Randomized approaches, on the other hand, may enable simultaneous statistical and computational efficiency.

研究の動機と目的

• 楽観的探索と確率的探索の相対的な統計的効率性を分析すること。
• 理論的基盤が類似しているにもかかわらず、実践的に確率的アプローチが楽観的アプローチを上回る理由を特定すること。
• 状態空間スケーリング下での不整合な不確実性評価に関連する、一般的な楽観的探索手法の欠陥を明らかにすること。
• 理論的に最適な楽観的手法は存在するが、計算的に扱いにくいため、確率的アプローチが実世界の強化学習においてより実用的で効率的であると主張すること。

提案手法

• 著者たちは、2つの解析的例を用いて探索戦略を比較した。1つは二値行動を伴う有限ホライズンMDP、もう1つは分岐する状態遷移構造を持つものである。
• 楽観的探索に対しては、標準的な「不確実性への楽観的対応（OFU）」原則を適用し、値推定を固定の楽観的パラメータcで補正した。
• 確率的探索に対しては、MDPの後方分布から値関数をサンプリングし、サンプルされた関数に関してグリーディに行動することで、トムソンサンプリングを模倣した。
• 状態空間スケールの変化（例：次状態の数）に伴う探索意思決定の一貫性を分析することで、意思決定の一貫性を評価した。
• 各手法が探索的行動を選択する条件を比較し、不確実性（標準偏差）と価値差の相互作用に注目した。
• 確率的アプローチがスケール変更に対しても自然に一貫性を保つのに対し、楽観的手法は分散ではなく標準偏差の平均化により失敗することを示した。

実験結果

リサーチクエスチョン

• RQ1 PSRLのような確率的探索手法が、UCRL2のような楽観的手法と同程度の理論的保証を持つにもかかわらず、実践的に優れているのはなぜか？
• RQ2 状態空間スケーリングが、楽観的探索と確率的探索の両方における探索意思決定の一貫性にどのように影響するか？
• RQ3 楽観的探索を計算的扱いやすさを失うことなく、統計的効率性を高めることは可能か？
• RQ4 後方サンプリングは、不確実性の異なるスケールにわたって意思決定の一貫性を維持する上で果たす役割は何か？

主な発見

• 後方分布からのサンプリングによる確率的探索は、状態空間スケーリング下でも意思決定の一貫性を維持するが、楽観的手法はそうではない。
• 可能な次状態の標準偏差を平均化する楽観的アプローチは、次状態の数が増加する際、一貫性を失い、誤った探索意思決定を引き起こす。
• 分岐遷移の例では、一般的な楽観的手法はcε√N > 1 である場合にのみ探索を行うが、これはNに依存する。一方、確率的手法はNに依存しない確率で探索を行うため、真の不確実性を反映している。
• 性能の差は、楽観的手法が√Nに比例して増幅される不整合な補正を適用するのに対し、正しい不確実性スケーリングは分散に基づくべきであることに起因する。
• 理論的には可能ではあるが、完全に一貫性のある楽観的手法は計算的に扱いにくく、実世界の強化学習では確率的アプローチがより実用的で効率的である。
• RiverSwimにおけるPSRLとUCRL2の実験結果から、確率的探索はより速い学習と低いレギュレートを達成しており、理論的優位性が確認された。