[論文レビュー] Zooming for Efficient Model-Free Reinforcement Learning in Metric Spaces

Abdelaziz Touati, Adrien Ali Taïga+1 more|arXiv (Cornell University)|Mar 9, 2020

Advanced Bandit Algorithms Research参考文献 25被引用数 11

ひとこと要約

この論文では、距離を備えた連続的状態・行動空間を対象としたオンラインのモデルフリー強化学習アルゴリズムであるZoomRLを提案する。距離に基づく分割戦略を用いて、高報酬で頻繁に訪問される領域に適応的にズームインすることで、ZoomRLは最悪ケースのリグレットを $\widetilde{O}(H^{5/2}K^{(d+1)/(d+2)})$ に達成する。ここで $H$ は計画ホライズン、$K$ はエピソード数、$d$ はカバー次元である。本アルゴリズムは、メトリック依存のリグレットバウンドを改善し、小さなモデル不適合誤差に対してもロバストである。

ABSTRACT

Despite the wealth of research into provably efficient reinforcement learning algorithms, most works focus on tabular representation and thus struggle to handle exponentially or infinitely large state-action spaces. In this paper, we consider episodic reinforcement learning with a continuous state-action space which is assumed to be equipped with a natural metric that characterizes the proximity between different states and actions. We propose ZoomRL, an online algorithm that leverages ideas from continuous bandits to learn an adaptive discretization of the joint space by zooming in more promising and frequently visited regions while carefully balancing the exploitation-exploration trade-off. We show that ZoomRL achieves a worst-case regret $ ilde{O}(H^{\frac{5}{2}} K^{\frac{d+1}{d+2}})$ where $H$ is the planning horizon, $K$ is the number of episodes and $d$ is the covering dimension of the space with respect to the metric. Moreover, our algorithm enjoys improved metric-dependent guarantees that reflect the geometry of the underlying space. Finally, we show that our algorithm is robust to small misspecification errors.

研究の動機と目的

• 指数的または無限大の状態・行動空間を有する連続的状態・行動空間における効率的探索の課題に対処すること。
• メトリック構造を活用して、高報酬領域における離散化の適応的精錬を実現するモデルフリー強化学習アルゴリズムの開発。
• カバー次元を介して、基礎となる空間の幾何構造を反映する、証明可能な効率的リグレットバウンドの確立。
• 最適Q関数のリプシッツ連続性に対する小さなずれに対して、ロバスト性を確保すること。

提案手法

• 与えられたメトリックに基づく階層的分割を、状態・行動空間の結合領域に適用し、高価値で頻繁に訪問される領域を動的に精錬する。
• 探索と活用のバランスを図るために、メトリック依存の信頼区間を用いた、不確実性への楽観主義（OFU）原則を適用する。
• パーティション球の半径と訪問回数に比例する誤差バウンドを伴う価値関数の推定値を維持する。
• リプシッツバンディットにインspiredされたズーミングメカニズムを採用し、累積報酬と訪問回数に基づいて、有望な領域に細かいパーティションを生成する。
• リグレット解析では、時間ステップおよびパーティションごとの価値関数誤差の再帰的分解を用い、アズマ＝ホイーディングなど、他の集中不等式を活用する。
• 重要な要素として、訪問回数に応じて縮小する適応的信頼区間を用い、パーティションの局所的メトリック半径に依存する。

実験結果

リサーチクエスチョン

• RQ1 メトリック構造を活用することで、連続的状態・行動空間における効率的探索を実現するモデルフリー強化学習アルゴリズムを設計できるか？
• RQ2 エピソード的MDPにおいて、適応的かつメトリックに配慮した離散化戦略によって達成可能なリグレットバウンドは何か？
• RQ3 メトリック空間のカバー次元に応じて、アルゴリズムの性能はどのようにスケーリングするか？
• RQ4 仮定された最適Q関数のリプシッツ連続性からのわずかなずれに対しても、アルゴリズムはリグレット保証を維持できるか？

主な発見

• ZoomRLは、最悪ケースのリグレットを $\widetilde{O}(H^{5/2}K^{(d+1)/(d+2)})$ に達成する。ここで $H$ は計画ホライズン、$K$ はエピソード数、$d$ は空間のカバー次元である。
• リグレットバウンドは、基礎となるメトリック空間の幾何構造を反映しており、均一な離散化手法と比較して改善されたスケーリングを示す。
• $H=1$ の場合、$K$ におけるリグレットスケーリングは、連続的コンテキストバンディットの既知の下界と一致し、この領域での最適性を示唆する。
• アルゴリズムは小さなモデル不適合誤差に対してもロバストである：真の最適Q関数が加法誤差 $\epsilon$ までリプシッツである場合、リグレットはたかだか $O(HK\epsilon)$ のみ増加する。
• アルゴリズムの適応的パーティショニングにより、低報酬または頻繁に訪問されない領域における無駄な探索が削減され、サンプル効率が向上する。
• 理論的解析により、価値関数推定の累積誤差が再帰的誤差伝播とメトリック依存の信頼区間によって制御されることを確立した。