[論文レビュー] Non-stationary Reinforcement Learning without Prior Knowledge: An Optimal Black-box Approach

Chen-Yu Wei, Haipeng Luo|arXiv (Cornell University)|Feb 10, 2021

Advanced Bandit Algorithms Research参考文献 61被引用数 17

ひとこと要約

本稿では、非定常環境における最適な動的リグレットを達成するが、非定常性の程度（変化回数や変化の大きさなど）に関する事前知識を必要としない、ブラックボックス還元手法MASTERを提案する。任意の定常環境で最適なリグレットを達成する強化学習アルゴリズムを、非定常環境でも最適な動的リグレットを達成するものに変換する。マルチアームバンディット、コンテキストバンディット、線形・一般化線形バンディット、エピソード的および無限ホライズンMDPの全設定で、$Ϫ{ω}(√{LT}, \Delta^{1/3}T^{2/3})$ のミニマックス最適な動的リグレット境界を達成する。

ABSTRACT

We propose a black-box reduction that turns a certain reinforcement learning algorithm with optimal regret in a (near-)stationary environment into another algorithm with optimal dynamic regret in a non-stationary environment, importantly without any prior knowledge on the degree of non-stationarity. By plugging different algorithms into our black-box, we provide a list of examples showing that our approach not only recovers recent results for (contextual) multi-armed bandits achieved by very specialized algorithms, but also significantly improves the state of the art for (generalized) linear bandits, episodic MDPs, and infinite-horizon MDPs in various ways. Specifically, in most cases our algorithm achieves the optimal dynamic regret $\widetilde{\mathcal{O}}(\min\{\sqrt{LT}, Δ^{1/3}T^{2/3}\})$ where $T$ is the number of rounds and $L$ and $Δ$ are the number and amount of changes of the world respectively, while previous works only obtain suboptimal bounds and/or require the knowledge of $L$ and $Δ$.

研究の動機と目的

• 非定常性の度合いに関する事前知識がなくとも、非定常強化学習における最適な動的リグレットを達成する挑戦に応えること。
• マルチアームバンディットやMDPを含む多様なRL設定に適用可能な一般化された、即挿し可能なフレームワークを開発すること。
• 従来の手法が最適な性能を発揮するためには$L$（変化回数）や$\Delta$（変化の大きさ）の知識が必要であるという制限を克服すること。
• 環境の変化に関する仮定なしに、理論的なミニマックス下界に一致する最適な動的リグレット境界を達成すること。

提案手法

• 定常環境で最適なリグレットを達成する任意の強化学習アルゴリズムを、非定常環境でも最適な動的リグレットを達成するものに変換するブラックボックス還元フレームワークMASTERを提案する。
• 時間依存の重み付け方式と適応的信頼区間を用いて、探索と環境変化への適応性のバランスを取る。
• バンディットアルゴリズムにインspiredされた、報酬推定器の分散を制御する方策の分布を維持するが、一般化されたRLに適応する還元手法を用いる。
• UCB1、OFUL、FALCON、LSVI-UCB、UCRLをMASTERに統合し、全設定で最適なリグレットを達成する。
• Freedmanの不等式と濃度不等式を用いて、環境変化下での推定誤差とリグレット分解を制御する。
• 観測された乖離に基づき動的に探索を調整することで、$L$ や $\Delta$ が未知であってもロバストであることを保証する。

実験結果

リサーチクエスチョン

• RQ1 一般化されたブラックボックス還元が、$L$ や $\Delta$ の事前知識なしに、非定常RLにおける最適な動的リグレットを達成できるか？
• RQ2 この還元が、マルチアームバンディット、コンテキストバンディット、MDPを含む多様なRL設定に適用可能か？
• RQ3 この手法が、$L$ や $\Delta$ を必要とせずに、ミニマックス最適なリグレット境界 $\widetilde{\mathcal{O}}(\min\{\sqrt{LT}, \Delta^{1/3}T^{2/3}\})$ を達成できるか？
• RQ4 このフレームワークは、特化型アルゴリズムと比較して、リグレット性能と適応性において優れているか？

主な発見

• MASTERは、$L$ や $\Delta$ の事前知識なしに、全テスト設定でミニマックス最適な動的リグレット境界 $\widetilde{\mathcal{O}}(\min\{\sqrt{LT}, \Delta^{1/3}T^{2/3}\})$ を達成する。
• マルチアームバンディットおよびコンテキストバンディットでは、UCB1やILTCBを用いたMASTERは、Auerら（2019年）およびChenら（2019年）の最先端の境界を、事前知識なしに再現する。
• 線形および一般化線形バンディットでは、OFULやGLM-UCBを用いたMASTERは、$\Delta$ や $L$ の必要性を排除しながらも、同じ最適なリグレットを達成し、先行研究を改善する。
• エピソード的MDPでは、Q-UCBやLSVI-UCBを用いたMASTERは、$\min\{\sqrt{LT}, \Delta^{1/3}T^{2/3}\}$ のリグレットを達成し、$\Delta$ や $L$ を必要とする従来手法を上回る。
• 無限ホライズンMDPでは、UCRLを用いたMASTERは、$\min\{\sqrt{LT}, \Delta^{1/3}T^{2/3}\}$ のリグレットを達成し、理論的最適境界に一致し、$\Delta$ や $L$ を必要とする先行手法を上回る。
• このフレームワークは普遍的である：UCBベースまたは最適な定常RLアルゴリズムを任意に組み込むことで、非定常設定でも動的リグレット最適なアルゴリズムが得られる。