[論文レビュー] State2vec: Off-Policy Successor Features Approximators

Sephora Madjiheurem, Laura Toni|arXiv (Cornell University)|Oct 22, 2019

Reinforcement Learning in Robotics参考文献 15被引用数 4

ひとこと要約

本論文では、状態空間の幾何構造を捉えた低次元の状態埋め込みを学習する、改良型node2vecフレームワークを用いた、新しいオフポリシー後続特徴近似手法state2vecを提案する。探索的で報酬に依存しないデータを用いて訓練することで、state2vecは潜在的な状態空間構造を捉え、多様な方策や報酬関数においてメタテスト段階でサンプル効率の高い価値関数近似を可能にする。

ABSTRACT

A major challenge in reinforcement learning (RL) is the design of agents that are able to generalize across tasks that share common dynamics. A viable solution is meta-reinforcement learning, which identifies common structures among past tasks to be then generalized to new tasks (meta-test). In meta-training, the RL agent learns state representations that encode prior information from a set of tasks, used to generalize the value function approximation. This has been proposed in the literature as successor representation approximators. While promising, these methods do not generalize well across optimal policies, leading to sampling-inefficiency during meta-test phases. In this paper, we propose state2vec, an efficient and low-complexity framework for learning successor features which (i) generalize across policies, (ii) ensure sample-efficiency during meta-test. We extend the well known node2vec framework to learn state embeddings that account for the discounted future state transitions in RL. The proposed off-policy state2vec captures the geometry of the underlying state space, making good basis functions for linear value function approximation.

研究の動機と目的

• 異なる最適方策における既存の後続特徴手法の一般化性能の低さとサンプル非効率性を解消すること。
• メタトレーニング段階で、タスク固有の報酬関数や方策から状態表現学習を分離すること。
• 環境の幾何構造を保持する低次元で報酬に依存しない状態埋め込みを構築すること。
• 事前学習済み埋め込みの上にタスク固有の係数ベクトルを学習することで、メタテスト段階での高速かつサンプル効率の良い適応を可能にすること。
• オフポリシー学習を通じて後続特徴が方策をまたいで一般化されることを保証することで、メタ強化学習のパフォーマンスを向上させること。

提案手法

• 時間的および構造的依存関係に注目するように、node2vecアルゴリズムを拡張し、割引された将来の状態遷移を符号化する状態埋め込みを学習する。
• ランダムウォークプロセスにおける将来の遷移に割引因子を適用し、埋め込み空間内で時間的に関連性の高い近隣状態を優先する。
• 特定の報酬関数や最適方策とは無関係な、オフポリシーで探索的な経験データを用いてstate2vecモデルを訓練する。
• メタテスト段階で線形価値関数近似のための基底関数として、学習済みの状態埋め込みを用いる。
• 行動方策とは異なるターゲット方策の経験を用いて、オフポリシー時系列差分学習により後続特徴推定値を更新する。
• メタテスト段階での高速な適応とサンプル効率を確保するため、埋め込み次元を低次元に制限する。

実験結果

リサーチクエスチョン

• RQ1 後続特徴のオフポリシー学習は、メタ強化学習において多様な最適方策にわたる一般化を向上させるか？
• RQ2 on-policy手法と比較して、state2vec埋め込みは元の状態空間の幾何構造をどの程度正確に捉えているか？
• RQ3 事前学習済みで報酬に依存しない状態埋め込みを用いることで、メタテスト段階でのサンプル効率はどの程度向上するか？
• RQ4 state2vec埋め込みは、新しいタスクにおいて有効な低次元基底関数として線形価値関数近似に適しているか？
• RQ5 state2vecは、node2vecや他の後続特徴手法と比較して、価値関数近似の精度と一般化性能においてどのように優れているか？

主な発見

• state2vecは、オフポリシーで探索的なデータから学習することで、真の後続特徴の高精度な近似を達成する。
• オフポリシーのstate2vec埋め込みは、状態空間の内在的幾何構造を捉えており、頑健な価値関数近似を可能にする。
• state2vecは、低次元でタスクに適応した係数ベクトルを学習するだけで済むため、サンプル効率の高いメタテストを実現する。
• RL特化の設計が埋め込みプロセスに与える利点を示すために、node2vecより優れた価値関数近似性能を示した。
• 報酬関数の変更に対しても頑健で、最適方策が大きく異なる場合でも一般化性能を維持する。
• 状態表現学習を方策や報酬から完全に分離できたため、最小限の再トレーニングでタスク間での知識移譲が可能になった。