[論文レビュー] Estimating Q(s,s') with Deep Deterministic Dynamics Gradients

Ashley D. Edwards, Himanshu Sahni+8 more|arXiv (Cornell University)|Feb 21, 2020

Reinforcement Learning in Robotics参考文献 40被引用数 4

ひとこと要約

本稿では、状態 s から隣接する状態 s' に遷移し、その後最適に行動するという遷移の価値を評価する、Q(s,s') と呼ばれる新しい価値関数を導入する。この関数は、価値と行動を分離することで、行動と価値の分離学習を可能にする。D3G（Deep Deterministic Dynamics Gradients）を用いて、Q(s,s') を最大化する次状態を予測する前向きダイナミクスモデルを学習することで、行動情報が一切ない観測データからでも、オフポリシー学習が可能になる。これは、ランダムまたは劣化したポリシーからのデータに対しても、高い転移性と効率性を発揮する。

ABSTRACT

In this paper, we introduce a novel form of value function, $Q(s, s')$, that expresses the utility of transitioning from a state $s$ to a neighboring state $s'$ and then acting optimally thereafter. In order to derive an optimal policy, we develop a forward dynamics model that learns to make next-state predictions that maximize this value. This formulation decouples actions from values while still learning off-policy. We highlight the benefits of this approach in terms of value function transfer, learning within redundant action spaces, and learning off-policy from state observations generated by sub-optimal or completely random policies. Code and videos are available at http://sites.google.com/view/qss-paper.

研究の動機と目的

• 行動に依存しない状態遷移の価値を表現する価値関数を開発し、価値とポリシーの学習を分離可能にする。
• 行動情報が入手不可な状態観測のみを用いて、オフポリシー強化学習を可能にする。
• 冗長的または高次元な行動空間を有する環境において、転移性とサンプル効率性を向上させる。
• 明示的な行動教師信号なしに、将来の報酬を最大化する次状態を予測する前向きダイナミクスモデルを学習する。

提案手法

• Q(s,s') を価値関数として提案。これは、状態 s から s' に遷移し、その後最適に行動する場合の報酬を表し、Q(s,s') = r + γ max_{s''} Q(s',s'') で定義される。
• 行動に依存しない Q(s,τ(s)) を最大化するように、前向きダイナミクスモデル τ(s) → s' を学習する D3G（Deep Deterministic Dynamics Gradients）を導入。
• 微分可能なダイナミクスモデルを用いて、価値関数のターゲットに基づき、次状態予測の勾配更新を実行し、エンドツーエンドのオフポリシー学習を可能にする。
• 2段階の学習プロセスを採用：まず、ブートストラップを用いて Q(s,s') を学習し、次に τ(s) を Q(s,τ(s)) を最大化する次状態を予測するように学習する。
• 複数の行動が同じ状態遷移をもたらす場合に、自然に冗長な行動を1つの価値推定に統合できる。
• 関数近似と経験再生を用いて、表計算的および連続的制御環境（MuJoCo タスクを含む）に本手法を適用。

実験結果

リサーチクエスチョン

• RQ1 Q(s,s') が行動に依存しない状態遷移に依存する価値関数として、従来の Q(s,a) よりもサンプル効率性と転移性に優れているか？
• RQ2 行動教師信号なしに、将来の報酬を最大化する次状態を予測する前向きダイナミクスモデルを学習できるか？
• RQ3 Q(s,s') と D3G は、行動情報なしで、完全にランダムまたは劣化したデモからの観測データから効果的なポリシーを学習できるか？
• RQ4 価値と行動を分離することで、ダイナミクスは同一だが行動表現が異なる環境間での転移性が向上するか？

主な発見

• Q(s,s') は、標準的な表計算的環境において Q(s,a) と同等の性能を達成し、行動に依存しない価値学習の有効性を示した。
• 本手法は、エキスパートの行動情報が一切ない観測データからも、効果的なポリシーを学習できた。
• 冗長な行動を有する環境では、Q(s,s') が同等の遷移を自然に1つの価値推定に統合し、サンプル効率性が向上した。
• D3G を用いることで、オフポリシー学習が可能となり、MuJoCo 制御タスクにおいて高いサンプル効率性を達成した。
• 本アプローチは、同一のダイナミクスだが異なる行動空間を有するタスク間で、効果的な価値転移を可能とし、転移に際しては逆ダイナミクスモデルの再学習のみで十分であった。
• 本手法は、観測データのみから自動的にゴールを生成し、計画を実行可能であり、行動ラベルを必要とする観測からの模倣学習ベースラインを上回った。