[論文レビュー] Sample Efficient Feature Selection for Factored MDPs

Zhaohan Daniel Guo, Emma Brunskill|arXiv (Cornell University)|Mar 9, 2017

Reinforcement Learning in Robotics参考文献 10被引用数 3

ひとこと要約

本稿では、因子付きMDPにおけるオンライン強化学習アルゴリズムFS-EEを提案する。このアルゴリズムは、学習中に関連する特徴量を自動で選択する。失敗して目的状態に到達できない場合に、親特徴量のインデグリーを動的に調整することで、必要な特徴量のインデグリーにのみ比例したサンプル複雑性を達成する。その結果、必要な特徴量のインデグリーが低い場合、全特徴量を用いる手法と比較して指数的改善が得られる。

ABSTRACT

In reinforcement learning, the state of the real world is often represented by feature vectors. However, not all of the features may be pertinent for solving the current task. We propose Feature Selection Explore and Exploit (FS-EE), an algorithm that automatically selects the necessary features while learning a Factored Markov Decision Process, and prove that under mild assumptions, its sample complexity scales with the in-degree of the dynamics of just the necessary features, rather than the in-degree of all features. This can result in a much better sample complexity when the in-degree of the necessary features is smaller than the in-degree of all features.

研究の動機と目的

• 因子付きMDPにおいて、大きな冗長な特徴量集合を用いる場合に生じる高いサンプル複雑性の課題に対処すること。
• 最適方策学習に必要な特徴量のみを自動で同定し、焦点を当てるオンライン強化学習アルゴリズムの開発。
• 全特徴量集合ではなく、最小限の必要な特徴量集合のインデグリーに比例したサンプル複雑性を達成すること。
• 必要な特徴量やその親構造に関する事前知識がなくても、サンプル効率性に関する理論的保証を提供すること。

提案手法

• 探索中に、各特徴量の候補となる親集合のインデグリーを失敗に応じて段階的に増加させる。
• 目的状態に到達できないことを利用して、現在の親集合サイズが正確な動的モデル化に不十分であることを示す信号とする。
• 学習性能に基づいて、各特徴量の親集合サイズを動的に拡張する動的モデルを維持する。
• 全特徴量を網羅的にテストせずに、遷移モデルにやや弱い仮定を置くことで、親集合サイズが不十分であることを検出する。
• 後処理やオフポリシー特徴選択を避けるために、特徴選択を探索と活用のトレードオフの根幹に統合する。
• 先行するFMDP強化学習アルゴリズム（例：LSE-RMax）を基盤としながらも、理論的保証を伴うオンライン特徴選択を拡張する。

実験結果

リサーチクエスチョン

• RQ1 オンライン強化学習アルゴリズムは、因子付きMDPにおいて、必要な特徴量のインデグリーにのみ比例したサンプル複雑性を達成できるか？
• RQ2 必要な特徴量やその親構造に関する事前知識がなくても、オンライン学習中に特徴選択が可能か？
• RQ3 目的状態に到達できないことは、動的モデルにおける親集合の拡張を誘導する信頼できるシグナルとして機能できるか？
• RQ4 特徴選択が不要な状況では、提案手法が最先端のFMDP強化学習アルゴリズムと同等の性能を維持できるか？
• RQ5 必要な特徴量の正しいインデグリーに達した段階で、親集合の拡張を停止させることで、不必要な探索を回避できるか？

主な発見

• FS-EEは、必要な特徴量のインデグリーにのみ比例したサンプル複雑性を達成し、全特徴量集合に比べて指数的改善を実現する。
• 不要な特徴量を含むトイドメインでは、最初の2000ステップで標準的なFMDPアルゴリズムよりもFS-EEが優れた性能を示す。これは、無関係な特徴量の迅速な除外と、より速い収束に起因する。
• ステップ2000でインデグリーが増加すると、FS-EEは一時的な性能低下を経験するが、これは事前に除外された特徴量が再び関連性を持つようになったことに合致する。
• インデグリーが3に達した後、FS-EEはLSE-RMax や MET-RMax といったベースラインアルゴリズムと同等の性能を維持し、堅牢性とスケーラビリティを確認した。
• 株式取引ドメインでは、すべての特徴量が必須であるが、FS-EEは累積報酬約5500を達成し、MET-RMaxを上回り、LSE-RMaxの性能に近づいた。
• アルゴリズムは、最適な特徴量集合や親構造に関する事前知識がなくても、理論的保証を伴うオンライン強化学習に特徴選択を統合可能であることを示した。