[論文レビュー] Provably adaptive reinforcement learning in metric spaces

Tongyi Cao, Akshay Krishnamurthy|arXiv (Cornell University)|Jun 18, 2020

Advanced Bandit Algorithms Research被引用数 3

ひとこと要約

本稿では、Sinclairらの手法を精緻化することで、メトリック空間における証明可能な適応的強化学習アルゴリズムを提案し、リグレットがズーミング次元に比例することを示している。これは、被覆次元よりも近似的に最適な行動集合の性質をより tightly に測る指標である。主な貢献は、メトリック空間強化学習における最初の適応的リグレット保証を確立したことである。これにより、従来の非適応的境界を改善した。

ABSTRACT

We study reinforcement learning in continuous state and action spaces endowed with a metric. We provide a refined analysis of a variant of the algorithm of Sinclair, Banerjee, and Yu (2019) and show that its regret scales with the \emph{zooming dimension} of the instance. This parameter, which originates in the bandit literature, captures the size of the subsets of near optimal actions and is always smaller than the covering dimension used in previous analyses. As such, our results are the first provably adaptive guarantees for reinforcement learning in metric spaces.

研究の動機と目的

• 連続的なメトリック空間における証明可能な適応的強化学習アルゴリズムの開発を目的とする。
• Sinclair, Banerjee, and Yu (2019) のアルゴリズムを精緻化し、より良いリグレット解析を実現することを目的とする。
• リグレットが被覆次元ではなくズーミング次元に比例することを示すこと。
• メトリック空間における強化学習の分野で、最初の適応的リグレット境界を確立すること。

提案手法

• メトリック構造を持つメトリック空間で動作する、Sinclair, Banerjee, and Yu のアルゴリズムの変種を適応させる。
• 近似的に最適な行動集合の複雑さの指標としてズーミング次元を用い、これは被覆次元よりも本質的に小さい。
• メトリック空間の幾何的構造を活用した精緻なリグレット解析を適用する。
• ズーミング次元に従って、高い潜在的報酬を持つ領域に焦点を当てる動的サンプリング戦略を導入する。
• 探索と活用のバランスを取るために、メトリックに基づくパーティショニング方式を採用する。

実験結果

リサーチクエスチョン

• RQ1 強化学習アルゴリズムは、メトリック空間で適応的リグレット境界を達成できるか？
• RQ2 ズーミング次元は、被覆次元よりも強化学習における学習の複雑さをより tightly に特徴づけるか？
• RQ3 既存のアルゴリズムの精緻な解析により、連続的なメトリック空間におけるより良いリグレット保証を得られるか？
• RQ4 行動空間の内因的複雑さに適応する、証明可能な適応的強化学習アルゴリズムを設計することは可能か？

主な発見

• アルゴリズムのリグレットはズーミング次元に比例するが、これは常に被覆次元以下の値である。
• 提案された解析により、メトリック空間における強化学習で最初の証明可能な適応的リグレット保証が得られた。
• アルゴリズムはインスタンスの内因的複雑さに適応し、近似的に最適な行動を持つ領域に重点を置く。
• この文脈において、ズーミング次元は被覆次元よりも問題の難易度をより的確に反映する指標である。