[論文レビュー] Advantages and Limitations of using Successor Features for Transfer in Reinforcement Learning

Lucas Lehnert, Stefanie Tellex+1 more|arXiv (Cornell University)|Jul 31, 2017

Reinforcement Learning in Robotics参考文献 8被引用数 39

ひとこと要約

本論文は強化学習における転移学習の文脈で成功者特徴（SFs）の使用を評価し、報酬関数にわずかな変化がある場合に迅速な適応を可能にすることを示しているが、最適方策が著しく異なる場合には方策依存的表現のため失敗することを明らかにした。主な貢献は、類似した環境では成功するが、最適方策が著しく異なるタスク間での転移にはSFsが不適切であることを特定したことである。

ABSTRACT

One question central to Reinforcement Learning is how to learn a feature representation that supports algorithm scaling and re-use of learned information from different tasks. Successor Features approach this problem by learning a feature representation that satisfies a temporal constraint. We present an implementation of an approach that decouples the feature representation from the reward function, making it suitable for transferring knowledge between domains. We then assess the advantages and limitations of using Successor Features for transfer.

研究の動機と目的

• 成功者特徴（SFs）が、報酬関数が異なるさまざまな強化学習タスク間で知識を効果的に転移できるかどうかを調査すること。
• 報酬構造のみが異なるMDP間での転移において、SF表現のスケーラビリティおよび再利用可能性を評価すること。
• 特に最適方策がタスク間で変化する場合に、SFsの転移学習における根本的限界を同定すること。
• 最適方策にわずかに変化がある場合と大きな変化がある場合の両方の環境において、SFベースの転移のパフォーマンスを評価すること。

提案手法

• 報酬関数から特徴表現を分離するために、報酬とは無関係に状態行動ダイナミクスを捉える成功者特徴（SF）表現を学習する。
• Q値をSFベクトルと報酬関数を表す重みベクトルの内積として表現する線形関数近似を用いる。
• 与えられた方策下で将来の成功者特徴と整合性を保つように、SF表現を時系列差分更新により学習する。
• ベルマン方程式を活用してSF推定値を反復的に更新し、長期的な状態行動訪問パターンを反映させる。
• 実験では、最適方策に小さな変化と大きな変化がある環境（グリッドワールドおよびプドルワールドの変種）でSF転移のパフォーマンスを比較する。
• 収束を改善するために、方策の緩和戦略（εを1.0から0.1に段階的に減少）を用いる。

実験結果

リサーチクエスチョン

• RQ1 報酬関数のみが異なるMDP間で、成功者特徴が知識の迅速な転移を可能にするか？
• RQ2 SFベースの転移のパフォーマンスは、タスク間での最適方策の変化にどのように依存するか？
• RQ3 なぜSF損失目的関数は学習中に振動するのか？これは学習ダイナミクスに何を示唆しているか？
• RQ4 最適方策が異なるタスク間で、SF表現をどの程度再利用できるか？
• RQ5 最適方策が著しく変化する場合に、SFsを用いた転移に根本的な制限があるか？

主な発見

• 最適方策がタスク間で類似している場合、特に報酬にわずかな変化がある実験では、SFベースの転移が学習を顕著に加速することが確認された。
• 最適に近い方策が素早く回復されても、SF損失目的関数が学習中に振動を示し、表現学習プロセスの不安定性を示している。
• 最適方策が著しく変化する場合——たとえばゴールの位置が別のコーナーに移動した場合——SF表現は転移に失敗し、むしろ劣悪な初期化として機能する。
• SF表現は学習時に使用された方策に本質的に依存しているため、最適方策が異なるタスク間での転移には不適切である。
• プドルワールドのような小さな報酬変化がある環境では、SF転移が顕著なパフォーマンス向上をもたらし、安定した方策条件での有効性を確認した。
• 本研究は、SFsが類似したタスクでは強力な転移を可能にするが、最適方策が著しく異なるタスクへの一般化には、その方策依存性が制限要因であると結論づけた。