[論文レビュー] Unifying task specification in reinforcement learning

Martha White|arXiv (Cornell University)|Sep 7, 2016

Reinforcement Learning in Robotics参考文献 22被引用数 17

ひとこと要約

本稿は、遷移に基づく割引を用いて環境ダイナミクスと学習目的を分離することで、エピソード的および継続的タスクのシームレスな統合を可能にする統一的強化学習（RL）タスク形式を導入する。主な貢献は、エピソード的および継続的RLの両方の先行結果を包含する、証明可能な収縮バインディングを有する一般化されたベルマン作用素であり、理論的およびアルゴリズム開発の簡素化を実現する。

ABSTRACT

Reinforcement learning tasks are typically specified as Markov decision processes. This formalism has been highly successful, though specifications often couple the dynamics of the environment and the learning objective. This lack of modularity can complicate generalization of the task specification, as well as obfuscate connections between different task settings, such as episodic and continuing. In this work, we introduce the RL task formalism, that provides a unification through simple constructs including a generalization to transition-based discounting. Through a series of examples, we demonstrate the generality and utility of this formalism. Finally, we extend standard learning constructs, including Bellman operators, and extend some seminal theoretical results, including approximation errors bounds. Overall, we provide a well-understood and sound formalism on which to build theoretical results and simplify algorithm use and development.

研究の動機と目的

• 従来のRLタスク定式化におけるモularityの欠如、すなわち環境ダイナミクスと学習目的の結合を是正すること。
• エピソード的、継続的、オプション、一般化価値関数といった多様なRL設定を、単一の形式的枠組みで統一すること。
• エピソード的および継続的タスクの別々の取り扱いを減らすことで、理論的分析およびアルゴリズム開発を簡素化すること。
• ベルマン作用素の収縮バインディングといった基礎的結果を、遷移に基づく割引を用いた一般化フレームワークに拡張すること。
• 研究および実用的RL開発の両方において、原理的かつ直感的で再利用可能な形式的枠組みを提供すること。

提案手法

• P（方策集合）、r（報酬関数）、γ（遷移に基づく割引関数）、i（関心関数）からなるRLタスク形式を定式化し、(P, r, γ, i) と表記する。
• γ(s,a,s′) ∈ [0,1] として、遷移に基づく割引を導入し、定数γの一般化を図り、状態・行動・遷移に依存する動的割引を可能にする。
• エピソード的および継続的タスクを、元のMDP構造を変更せず、終了状態を追加せず、割引関数の変更のみで統合可能であることを示す。
• 新形式に適した一般化されたベルマン作用素を導出し、やや弱い条件下でも収縮性が保証されることを証明し、収束保証を拡張する。
• エピソード的および継続的タスクに対する既存の結果が、新フレームワークの理論的バインディングに包含されることを確立する。
• LSTD(λ) や強調的アルゴリズムといったアルゴリズムへの理論的拡張を提供し、新しいパrameter s_D を用いて収束速度を一般化する。

実験結果

リサーチクエスチョン

• RQ1 元のMDP構造を変更せずに、エピソード的および継続的RLタスクを単一の枠組みで正式に統一することは可能か？
• RQ2 状態ベースの割引と遷移ベースの割引の関係は何か？ そして、どのように形式化できるか？
• RQ3 遷移ベースの割引を用いた一般化ベルマン作用素が収縮性を示すことは証明可能か？ また、既存の収縮結果を包含するか？
• RQ4 価値関数法における近似誤差バインディングおよび収束速度は、新形式下でどのように一般化されるか？
• RQ5 遷移ベースの割引を用いることは、アルゴリズム設計および理論的分析にどのような実用的影響を及えるか？

主な発見

• 提案されたRLタスク形式は、遷移ベースの割引を用いることで、エピソード的および継続的タスクを効果的に統合し、状態空間の別々の変更の必要性を排除する。
• 遷移ベースの割引を用いた一般化ベルマン作用素は、やや弱い条件下でも証明可能な収縮性を有し、RLの理論的基盤を拡張する。
• エピソード的および継続的タスクに対する既存の収束結果が、新フレームワークの一般化された収縮バインディングに包含されることを示し、より広範な適用可能性を示す。
• LSTD(λ) および強調的アルゴリズムの収束速度は、遷移全体を通じた有効な割引行動を捉える新しいパrameter s_D を用いて一般化される。
• タクシー環境における実験的分析では、λ_c と終了確率が高くなると s_D が顕著に減少することが示され、安定性の向上とバイアスの低減が裏付けられる。
• 形式的枠組みにより、環境ダイナミクスと学習目的の明確な分離が可能となり、実装および理論的開発の簡素化が実現される。