[論文レビュー] T-Learning

Vincent Graziano, Faustino Gomez+2 more|arXiv (Cornell University)|Dec 31, 2011

Reinforcement Learning in Robotics参考文献 8被引用数 5

ひとこと要約

T-Learningは、ナビゲーションなど実世界のシナリオで一般的な、状態が少なく行動が多数ある問題に特化した、強化学習の新手法を提案する。個々の状態-行動ペアではなく、部分ゴール間の遷移を評価することで、Q学習よりも任意に大きな性能向上を達成する。政策依存とは独立して遷移評価を行うことで、行動数に応じた効率的スケーリングが可能になる。

ABSTRACT

Traditional Reinforcement Learning (RL) has focused on problems involving many states and few actions, such as simple grid worlds. Most real world problems, however, are of the opposite type, Involving Few relevant states and many actions. For example, to return home from a conference, humans identify only few subgoal states such as lobby, taxi, airport etc. Each valid behavior connecting two such states can be viewed as an action, and there are trillions of them. Assuming the subgoal identification problem is already solved, the quality of any RL method---in real-world settings---depends less on how well it scales with the number of states than on how well it scales with the number of actions. This is where our new method T-Learning excels, by evaluating the relatively few possible transits from one state to another in a policy-independent way, rather than a huge number of state-action pairs, or states in traditional policy-dependent ways. Illustrative experiments demonstrate that performance improvements of T-Learning over Q-learning can be arbitrarily large.

研究の動機と目的

• 多くの状態と少数の行動を想定した伝統的RL手法のスケーラビリティのギャップを是正すること。実世界の設定では、関連する状態が少なく、行動空間が非常に広いため、こうした手法は機能しない。
• 行動数が指数関数的に増加する状況（例：無数のルートが存在する人間のナビゲーション）において、Q学習や類似アルゴリズムの非効率性を克服すること。
• 政策に依存しない形で部分ゴール状態間の遷移を評価する手法を開発し、計算負荷を軽減し、サンプル効率を向上させること。
• 行動空間の大きさが性能を制限する複雑な現実世界の環境において、RLの実用的応用を可能にすること。

提案手法

• T-Learningは、個々の状態-行動ペアのQ値学習から、重要な場所を結ぶ有効な行動を表す部分ゴール状態間の遷移値の学習へと焦点を移す。
• 遷移の評価を政策に依存しない形で行い、特定の政策に従う際の値推定を独立させることで、分離を実現する。
• 関連する部分ゴール（例：ロビー、タクシー、空港）のみを状態としてモデル化する環境のコンact表現を用いる。それらの間のすべての可能な経路を行動として扱う。
• 状態遷移の値関数を通じて遷移の質を推定し、個々の状態-行動ペアをすべて探索する必要を回避する。
• 意味のある部分ゴール遷移のスパarsityを活かして、行動数に応じて効率的にスケーリングできる。Q学習とは異なり、行動空間の大きさに伴うスケーリングの悪さを回避できる。
• 部分ゴールの特定は事前に解決済みと仮定し、主に遷移評価プロセスの効率性と性能向上に注力する。

実験結果

リサーチクエスチョン

• RQ1 行動が非常に多く、状態が少ない環境において、強化学習手法がQ学習を著しく上回ることは可能か？
• RQ2 遷移評価を政策依存から分離することで、高行動空間問題においてスケーラブルで効率的な学習が達成できるか？
• RQ3 このような状況下で、Q学習に対する性能向上を任意に大きくできるか？
• RQ4 会議から自宅に戻るような現実世界のナビゲーションタスクを、少数の部分ゴール状態と遷移ベースの値学習でモデル化するのは現実的か？

主な発見

• T-Learningは、行動が多数で状態が少ない問題において、Q学習を著しく上回る任意に大きな性能向上を達成する。
• 行動数に応じて効率的にスケーリングでき、行動空間が巨大な現実世界の環境に適している。
• 個々の状態-行動ペアではなく部分ゴール遷移に注目することで、従来のRLアプローチに内在する計算負荷を軽減する。
• 政策に依存しない遷移評価により、高行動空間シナリオで収束が速く、サンプル効率が向上する。
• 実験的例証により、T-Learningの設計がQ学習が行動空間の爆発により失敗するような状況で顕著な性能向上をもたらすことが確認された。
• 人間のナビゲーションに類似したタスクにおいて特に効果的であり、意味のある部分ゴールは少数であるが、それらを結ぶパス（行動）はトロイリオンにのぼる。