[論文レビュー] Exploration in Structured Reinforcement Learning

Jungseul Ok, Alexandre Proutière+1 more|arXiv (Cornell University)|Jun 3, 2018

Advanced Bandit Algorithms Research参考文献 12被引用数 12

ひとこと要約

本稿は、有限MDPにおける構造的強化学習（RL）の問題固有のレグレット下界を導入し、リプシッツ構造を有するMDPでは、レグレットが時間に対して対数的にスケーリングされ、状態および行動空間のサイズに依存しないことを示している。本稿は、構造的性質を活用することで、これらの根本的限界に到達するDEL（Directed Exploration Learning）と呼ばれるアルゴリズムを提案する。このアルゴリズムは、報酬関数の事前知識が不要な簡素化されたバージョンを備えており、依然として最適なレグレットスケーリングを維持する。

ABSTRACT

We address reinforcement learning problems with finite state and action spaces where the underlying MDP has some known structure that could be potentially exploited to minimize the exploration rates of suboptimal (state, action) pairs. For any arbitrary structure, we derive problem-specific regret lower bounds satisfied by any learning algorithm. These lower bounds are made explicit for unstructured MDPs and for those whose transition probabilities and average reward functions are Lipschitz continuous w.r.t. the state and action. For Lipschitz MDPs, the bounds are shown not to scale with the sizes $S$ and $A$ of the state and action spaces, i.e., they are smaller than $c\log T$ where $T$ is the time horizon and the constant $c$ only depends on the Lipschitz structure, the span of the bias function, and the minimal action sub-optimality gap. This contrasts with unstructured MDPs where the regret lower bound typically scales as $SA\log T$. We devise DEL (Directed Exploration Learning), an algorithm that matches our regret lower bounds. We further simplify the algorithm for Lipschitz MDPs, and show that the simplified version is still able to efficiently exploit the structure.

研究の動機と目的

• 未知のダイナミクスと報酬を有する構造的MDPの問題固有のレグレット下界を導出すること。
• 特に遷移確率および報酬のリプシッツ連続性を含む構造的性質が、レグレットスケーリングに与える影響を分析すること。
• 探索と活用の最適なバランスを取ることで、導出されたレグレット下界に到達するアルゴリズムを設計すること。
• 実用的導入を可能にするためにアルゴリズムを簡素化しながら、構造的設定において最適なレグレット性能を維持すること。

提案手法

• 情報理論的議論を用いて、MDPに既知の構造が存在する場合に限り、問題固有のレグレット下界を導出する。
• 各ステップで推定バイアスとサブオプティマルギャップに基づく探索をバランスさせる最適化問題を解くことで、探索を指向するDEL（Directed Exploration Learning）を導入する。
• リプシッツMDPの場合、DELを簡素化し、各ステップで最適方策の計算と線形計画法の実行のみを必要とするようにし、計算コストを低減する。
• 信頼区間とバイアス関数推定を用いて探索を誘導し、非最適行動が必ずしも必要に応じてのみ探索されるように保証する。
• イベント分解と集中不等式を用いて、価値推定と方策選択の確実収束を証明する。
• サブオプティマルさの推定と構造的制約に基づいて優先順位を付ける構造的探索フェーズを導入する。

実験結果

リサーチクエスチョン

• RQ1 MDPの構造的性質（例えばリプシッツ連続性）は、強化学習におけるレグレットの根本的限界にどのように影響するか？
• RQ2 報酬関数とダイナミクスが未知である場合に、構造的MDPのためのレグレット下界を導出できるか？
• RQ3 任意の構造に対して、導出されたレグレット下界に到達できるアルゴリズムは存在するか？
• RQ4 実用的利用を可能にするために、構造的設定において最適なレグレットスケーリングを維持したまま、アルゴリズムを簡素化できるか？

主な発見

• 非構造的MDPでは、レグレット下界は $\frac{(H+1)^2}{\delta_{\min}}SA\log T$ に比例する。ここで $H$ はバイアススパン、$\delta_{\min}$ は最小の行動サブオプティマルギャップである。
• リプシッツMDPでは、レグレット下界は $\frac{(H+1)^3}{\delta^2_{\min}}S_{\textnormal{lip}}A_{\textnormal{lip}}\log T$ に比例し、$H$ と $\delta_{\min}$ が状態および行動空間サイズに依存しない限り、$S$ および $A$ に依存しない。
• DELは、各ステップで探索と活用をバランスさせる最適化問題を解くことで、任意の構造的MDPにおいて導出されたレグレット下界に到達する。
• リプシッツMDP用に簡素化されたDELのバージョンは、各ステップで推定MDPの最適方策を計算し、線形計画法を解くだけでよく、同じレグレットスケーリングを達成する。
• 付録の数値実験では、DELのレグレットがリプシッツMDPにおいて $S$ および $A$ に依存せず、構造に配慮しないアルゴリズムよりも顕著に優れていることが示されている。
• 理論的分析は、報酬関数が未知であっても構造的RLの問題固有のレグレット下界を提供する点で、先行研究（Burnetas and Katehakis, 1997）を拡張している。