[論文レビュー] When Simple Exploration is Sample Efficient: Identifying Sufficient Conditions for Random Exploration to Yield PAC RL Algorithms

Yao Liu, Emma Brunskill|arXiv (Cornell University)|May 23, 2018

Reinforcement Learning in Robotics参考文献 26被引用数 6

ひとこと要約

この論文は、強化学習におけるランダムな探索が、サンプル効率的な学習をもたらす十分な構造的条件を同定し、特定のMDPの性質—たとえば定常占有分布や遷移グラフのスペクトル的性質—が多項式的にスケーリングする場合に、ランダムウォーク探索を用いたQ学習がPAC（おそらく近似的に正しい）なサンプル複雑性を達成することを証明している。主な貢献は、単純な探索が効率的な学習に十分である状況を示す理論的枠組みを提供することにある。

ABSTRACT

Efficient exploration is one of the key challenges for reinforcement learning (RL) algorithms. Most traditional sample efficiency bounds require strategic exploration. Recently many deep RL algorithms with simple heuristic exploration strategies that have few formal guarantees, achieve surprising success in many domains. These results pose an important question about understanding these exploration strategies such as $e$-greedy, as well as understanding what characterize the difficulty of exploration in MDPs. In this work we propose problem specific sample complexity bounds of $Q$ learning with random walk exploration that rely on several structural properties. We also link our theoretical results to some empirical benchmark domains, to illustrate if our bound gives polynomial sample complexity in these domains and how that is related with the empirical performance.

研究の動機と目的

• 単純なランダム探索が、戦略的探索が常に必要であるという仮定に反して、サンプル効率的な強化学習をもたらす条件を理解すること。
• 特にランダムウォーク探索の文脈において、探索が容易または困難になるMDPの構造的性質を同定すること。
• 戦略的探索ヒューリスティクスに依存せず、Q学習におけるランダム探索のための形式的で問題特異的なサンプル複雑性バウンドを提供すること。
• グリッドワールドやAtariのようなドメインでe-greedyやランダム探索が実験的に成功する理由を、サンプル効率性に関する理論的懸念にもかかわらず説明すること。
• ランダム探索が明示的に効率的であると証明できる環境を特徴づけ、RLにおけるアルゴリズム選択と環境設計の指針を提供すること。

提案手法

• ランダムウォーク下での定常占有分布φ(s)を用いて、MDPにおけるランダムウォーク探索を理論的に分析する枠組みを提案。
• カバー時間とサンプル複雑性をバウンドするために、グラフラプラシアンの固有値および部分遷移行列のノルムの使用を導入。
• 有向グラフにおけるランダムウォーク理論（Chung, 2005）の結果を応用し、状態への最初の到達時間の有限サンプルバウンドを導出。
• 行列ノルムの不等式およびホルダーの不等式を用いて、(I - P^T_{-v,-v})^{-1}による全状態のカバーにかかる期待時間をバウンドし、サンプル効率性と関連づけた。
• 対称的アクションマッピングが状態間で保たれる「局所的対称的アクション」という新しい構造的性質を定義。この性質により、有利な占有分布が保証される。
• カバー時間のバウンドを導出：4A ln(4SA) ∑_v inf_p [S^{1-1/p} / (1 - ||P^T_{-v,-v}||_p)]。これは、部分遷移行列ノルムが1未満であれば有限である。

実験結果

リサーチクエスチョン

• RQ1 MDPのどの構造的条件下で、ランダム探索がQ学習において多項式的サンプル複雑性を達成するか？
• RQ2 e-greedyのような単純な探索戦略が、形式的保証が欠如しているにもかかわらず、グリッドワールドやAtariのような環境で成功する理由は何か？
• RQ3 トラップドア構造を有するような非自明なトポロジーや、ランダム探索が多項式的サンプル効率性を達成できるMDPがあるか？
• RQ4 遷移グラフのスペクトル的性質（固有値、行列ノルムなど）は、ランダムウォークベースの探索効率とどのように関係するか？
• RQ5 ランダム探索が効率的であるMDPと、指数的非効率的であるMDP（たとえば、コンビネーションロックやチェーンMDP）の違いは何か？

主な発見

• MDPの定常占有分布φ(s)および遷移行列のスペクトル的性質が良好であれば、ランダム探索に続くグリーディな利用により、PACサンプル複雑性を達成できる。
• ランダムウォーク探索のカバー時間は、4A ln(4SA) ∑_v inf_p [S^{1-1/p} / (1 - ||P^T_{-v,-v}||_p)] でバウンドされ、部分遷移行列ノルムが1から離れている限り、MDPのサイズに対して多項式的である。
• 異なる状態間の最小1ステップ遷移確率がp_min > 0であれば、カバー時間は4SA ln(4SA) / p_min でバウンドされ、多項式的バウンドとなる。
• 局所的対称的アクション（状態間でアクションが双方向に一対一対応する）は、有利な定常分布を保証し、したがって効率的な探索を可能にする。
• チェーンMDPやモンテズマのレヴェンは、スペクトル的性質が悪く、最初の到達時間が長いことから、ランダム探索に対して困難であることが示され、それらの実験的困難さを説明できる。
• 有限の直径または浅い計画性は、戦略的探索には役立つが、ランダム探索ではサンプル効率性を保証しない。これは、アルゴリズム要件における重要な差異を示している。