[論文レビュー] Successor Features for Transfer in Reinforcement Learning

André Sales Barreto, Will Dabney+5 more|arXiv (Cornell University)|Jun 16, 2016

Reinforcement Learning in Robotics参考文献 17被引用数 177

ひとこと要約

この論文は、成功者特徴（SFs）を導入して環境のダイナミクスと報酬を分離し、一般化された方策改善（GPI）フレームワークを用いて報酬が異なるがダイナミクスが共有されるタスク間の転移を可能とし、理論的保証と実証的検証を提供します。

ABSTRACT

Transfer in reinforcement learning refers to the notion that generalization should occur not only within a task but also across tasks. We propose a transfer framework for the scenario where the reward function changes between tasks but the environment's dynamics remain the same. Our approach rests on two key ideas: "successor features", a value function representation that decouples the dynamics of the environment from the rewards, and "generalized policy improvement", a generalization of dynamic programming's policy improvement operation that considers a set of policies rather than a single one. Put together, the two ideas lead to an approach that integrates seamlessly within the reinforcement learning framework and allows the free exchange of information across tasks. The proposed method also provides performance guarantees for the transferred policy even before any learning has taken place. We derive two theorems that set our approach in firm theoretical ground and present experiments that show that it successfully promotes transfer in practice, significantly outperforming alternative methods in a sequence of navigation tasks and in the control of a simulated robotic arm.

研究の動機と目的

• 報酬関数が変化してもダイナミクスが固定される場合の転移を動機づけ、形式化する。
• スケーラブルな転移のためにダイナミクスと報酬を分離する成功者特徴を導入する。
• タスク変更の下で複数の方策を結合する一般化方策改善を開発する。
• さらなる学習前に転移された方策に対する理論的保証を提供する。
• 実験で移動タスクとロボットアームを用いた実用的な転移を実証する。

提案手法

• one-step報酬を r(s,a,s') = phi(s,a,s')^T w と表現し、successor features psi^pi(s,a) = E_pi[sum_{t} gamma^{t-t0} phi_{t+1} | S_t=s, A_t=a] を定義する。
• psi^pi を用いて Q^pi(s,a) = psi^pi(s,a)^T w を表現し、ダイナミクスと報酬の分離を可能にする。
• Bellman方策改善を Generalized Policy Improvement (GPI) に拡張し max_i tildeQ^pi_i を用いて性能境界を証明する。
• phi が固定で w が異なるタスク集合 M^phi = {M(phi,w) | w in R^d} を導入し、転移を実装する。
• 以前に学習した方策の successor features を計算・保存し、new task で w_{n+1] を用いて psi^{pi_i}^T w_{n+1} から Q 値を取得し、GPI を適用する。
• (1) 近似保証付きの GPI、(2) w-space におけるタスク類似性と性能の境界を提供する二つの定理を示す。

実験結果

リサーチクエスチョン

• RQ1 報酬が変化してもダイナミクスが固定される場合、successor features は効果的な転移を可能にするか。
• RQ2 SFs を活用した GPI が新しいタスクでの学習前に性能保証を提供できるか。
• RQ3 phi 重み付き空間におけるタスクの類似性は転移性能と実用的なスキルライブラリ構築のガイダンスにどう影響するか。
• RQ4 移動とロボット制御タスクにおいて、SFs と GPI はベースラインと比べてどの程度の実証的利点を提供するか。

主な発見

• SFs は動的性と報酬を分離する価値関数表現を生み出し、転移を容易にする。
• SFs を用いた GPI は性能保証を提供し、新しいタスクを改善するために一連の方策を活用する。
• 実験では SFQL および SFDQN がナビゲーションタスクとリーチャー領域でベースラインを上回り、顕著な利得を示す。
• 学習済み SFs（SFQL-h）を用いると、phi が完全には既知でなくても迅速で堅牢な転移が達成できる。
• リーチャー実験は、トレーニングタスクでの学習がテストタスクの性能を向上させることを示す。