[論文レビュー] Exploration--Exploitation in MDPs with Options

Ronan Fruit, Alessandro Lazaric|arXiv (Cornell University)|Mar 25, 2017

Reinforcement Learning in Robotics被引用数 17

ひとこと要約

本稿は、マルコフ決定過程（MDP）におけるオプションを用いた強化学習の初めてのレグレット解析を提供しており、時間的に拡張されたアクション（オプション）を用いることで、基本的アクションで学習する場合と比較して、明示的にレグレットを低減できることを示している。オプションベースの学習を準マルコフ決定過程（SMDP）としてモデル化することで、UCRLの変種におけるレグレットの上界と下界を導出し、適切に設計されたオプションが、高次元または階層的タスクにおいて、明著に高いサンプル効率を実現できることを示している。

ABSTRACT

While a large body of empirical results show that temporally-extended actions and options may significantly affect the learning performance of an agent, the theoretical understanding of how and when options can be beneficial in online reinforcement learning is relatively limited. In this paper, we derive an upper and lower bound on the regret of a variant of UCRL using options. While we first analyze the algorithm in the general case of semi-Markov decision processes (SMDPs), we show how these results can be translated to the specific case of MDPs with options and we illustrate simple scenarios in which the regret of learning with options can be extit{provably} much smaller than the regret suffered when learning with primitive actions.

研究の動機と目的

• オンライン強化学習におけるオプションが学習パフォーマンスをどのように向上させるか、理論的に理解すること。
• オプションベースのRLにおける強力な実験的証拠にもかかわらず、そのレグレット解析が不足しているという問題に取り組むこと。
• MDPにおけるオプションの実験的成功と理論的裏付けのギャップを埋めること。
• オプションベースの学習をモデル化する準マルコフ決定過程（SMDP）において、UCRLの変種のレグレットバウンドを導出すること。
• SMDPのレグレットバウンドを、MDPにおけるオプションを用いた場合と基本的アクションのみで学習する場合との比較において、レグレットが低減される条件に翻訳すること。

提案手法

• オプションフレームワークを、ランダムな保持時間と累積報酬を持つ遷移を誘発する準マルコフ決定過程（SMDP）として形式化する。
• UCRLアルゴリズムをSMDPに適応し、遷移および報酬推定の信頼区間を用いて、探索と活用のバランスを保つ。
• 報酬および保持時間のサブ指数的尾部仮定を用いて、SMDP-UCRLアルゴリズムのレグレットに対する上界を導出する。
• オプションを用いた学習の根本的限界を特定するため、レグレットの下界を確立する。
• SMDPのレグレットバウンドを、MDPにおけるオプション付きのレグレットバウンドに翻訳し、オプションが基本的アクションよりもレグレットを低減する条件を同定する。
• マルティングル・理論および強大数法則を用いて、オプション有りと無しのレグレット比の漸近的挙動を分析する。

実験結果

リサーチクエスチョン

• RQ1 オンライン強化学習において、基本的アクションで学習する場合と比較して、どのような条件下でオプションがレグレットを低減できるか？
• RQ2 特に、オプションの期待保持時間と到達可能性という構造が、レグレットという観点での学習効率にどのように影響するか？
• RQ3 基本的アクションの代わりにオプションを用いた場合、UCRL風のアルゴリズムに対して理論的レグレットバウンドを導出可能か？
• RQ4 オプションによって誘発されるSMDPの直径と、学習アルゴリズムのレグレットとの関係は何か？
• RQ5 報酬および保持時間に対するサブ指数的仮定が、オプションベース学習の漸近的レグレット行動にどのように影響するか？

主な発見

• オプションを用いて学習する場合のレグレットは、基本的アクションでの学習と比較して、明示的に小さくなる可能性がある。特に、オプションの期待保持時間が短く、到達可能性が高い場合に顕著である。
• 報酬および保持時間が有界な場合、オプション有りと無しのレグレット比の漸近的上界は、$ \frac{1}{\sqrt{\tau_{\min}}}\left(1 + \frac{T_{\max}}{D\sqrt{S}}\right) $ で与えられ、ここで $ \tau_{\min} $ は最小期待保持時間である。
• 理論的上界が実験結果と非常に近接しており、性能向上の信頼性の高いプロキシとしての有効性が裏付けられている。
• 比 $ \frac{T_n}{n} $（1オプションステップあたりの平均的プリミティブステップ数）は、ほとんど確実に $ \tau_{\min} $ から $ \tau_{\max} $ の間の値に収束し、長期的学習における安定性が保証される。
• 高い分散または重たい尾部を持つ保持時間の場合は、信頼区間における $ \sqrt{\log n} $ スケーリングのため、レグレットの改善が得られない可能性があり、オプション設計の重要性が浮き彫りになる。
• 結果として、オプションは、ゴールに向けた進行をより速くし、有効な意思決定あたりのプリミティブステップ数を減らせる場合に最も効果的であることが示された。