[論文レビュー] Reinforcement Learning with Deep Energy-Based Policies

Tuomas Haarnoja, Haoran Tang+2 more|arXiv (Cornell University)|Feb 27, 2017

Reinforcement Learning in Robotics参考文献 40被引用数 434

ひとこと要約

エネルギーベースのポリシーを用いたソフトQ-learningを導入し、連続領域における多モーダルな確率的行動を表現する。ポリシーからのサンプリングにはアモルタイズド・スタイン変分勾配法を用い、actor-critic 手法と結びつける。

ABSTRACT

We propose a method for learning expressive energy-based policies for continuous states and actions, which has been feasible only in tabular domains before. We apply our method to learning maximum entropy policies, resulting into a new algorithm, called soft Q-learning, that expresses the optimal policy via a Boltzmann distribution. We use the recently proposed amortized Stein variational gradient descent to learn a stochastic sampling network that approximates samples from this distribution. The benefits of the proposed algorithm include improved exploration and compositionality that allows transferring skills between tasks, which we confirm in simulated experiments with swimming and walking robots. We also draw a connection to actor-critic methods, which can be viewed performing approximate inference on the corresponding energy-based model.

研究の動機と目的

• 連続状態・行動空間における表現力豊かな確率的ポリシーの学習を動機付ける。
• エネルギーベースモデルを介して最大エントロピー型ポリシー探索を任意のポリシー分布へ拡張する。
• 深層ネットワークを用いた近似サンプリングを伴う実用的・スケーラブルなアルゴリズム（ソフトQ-learning）を開発する。
• 異なるタスク間での探索とスキルの構成的転移の利点を示す。

提案手法

• ポリシーを pi(a|s) ∝ exp(-E(s,a)) としてエネルギーベースモデルとして定式化する。
• ソフトQ関数を用いてエネルギーベースポリシーとエントロピー正則化RL（定理1）を結びつける。
• 固定点収束のためのソフトベルマン方程式とソフトQ反復を導出する（定理3）。
• アモルタイズドSVGD(fφ)を介してポリシーからサンプルする深層ネットワークと確率的サンプリングネットワークを用いた実践的なソフトQ-learningを実装する。
• Qθを再現サンプルとターゲットネットワークを用いた確率的勾配法で最適化する。
• サンプリングネットワークをアクターとして扱い、アクター-クリティック系への接続を確立する。

実験結果

リサーチクエスチョン

• RQ1 連続領域でエネルギーベースポリシーは複雑で多モーダルな行動分布を表現できるのか？
• RQ2 軌跡の最大エントロピー化は探索を改善し、スキル転移の事前学習をより良くするのか？
• RQ3 高次元でエネルギーベースポリシーからの効率的なサンプリングをどのように実現し、深層RLと統合するのか？
• RQ4 エントロピー正則化RL、Q学習、アクター-クリティック手法の関係性は何か？

主な発見

• この手法はエネルギーlandscapeに整合する多モーダルな確率的ポリシーを学習し、複数の目標など多様な挙動を実現する。
• ソフトQ-learningはDDPGのような決定論的手法と比較して多モーダル報酬ランドスケープにおける探索を改善する。
• 最大エントロピー型ポリシーは新しいスキルへの微調整の初期化として標準的な事前学習よりも優れている。
• アモルタイズドSVGDはエネルギーベースポリシーからの高速かつ無偏なサンプルを提供し、このアプローチのアクター-クリティック的解釈を明らかにする。
• シミュレートされた水泳と四足歩行タスクの経験的結果は、探索と転移の潜在能力を改善することを示す。