[論文レビュー] Bridging the Gap Between Value and Policy Based Reinforcement Learning

Ofir Nachum, Mohammad Norouzi+2 more|arXiv (Cornell University)|Feb 28, 2017

Reinforcement Learning in Robotics被引用数 228

ひとこと要約

Path Consistency Learning (PCL) および Unified PCL を導入し、エントロピー正則化付きポリシー最適化とソフトマックス価値の整合性を結びつけ、安定したオフポリシー学習と統一された actor-critic のようなモデルを可能にする。

ABSTRACT

We establish a new connection between value and policy based reinforcement learning (RL) based on a relationship between softmax temporal value consistency and policy optimality under entropy regularization. Specifically, we show that softmax consistent action values correspond to optimal entropy regularized policy probabilities along any action sequence, regardless of provenance. From this observation, we develop a new RL algorithm, Path Consistency Learning (PCL), that minimizes a notion of soft consistency error along multi-step action sequences extracted from both on- and off-policy traces. We examine the behavior of PCL in different scenarios and show that PCL can be interpreted as generalizing both actor-critic and Q-learning algorithms. We subsequently deepen the relationship by showing how a single model can be used to represent both a policy and the corresponding softmax state values, eliminating the need for a separate critic. The experimental evaluation demonstrates that PCL significantly outperforms strong actor-critic and Q-learning baselines across several benchmarks.

研究の動機と目的

• エントロピー正則化されたソフトマックス整合性を通じて、価値ベースとポリシーベースの RL を橋渡しする。
• オフポリシー データをサポートする、軌跡レベル（マルチステップ）の整合性目的関数を開発する。
• PCL と Unified PCL を提案し、ポリシーと価値を共同学習するか、単一モデルで統一的に学習する。
• ベンチマーク課題で強力なベースラインに対する実証的改善を示す。

提案手法

• 最適なポリシーと状態値との間のソフトマックス（エントロピー正則化された）時間的一貫性を定義する。
• ゼロからのずれを測定する、多ステップのパス整合性目的関数 C(s_i:i+d, θ, φ) を導出する。
• ポリシーと値のパラメータの勾配更新を用いて、サンプル化されたサブ軌跡上の二乗整合誤差を最適化する。
• リプレイバッファを介してオフポリシー データを許容し、現在のポリシーのロールアウトを介してオンポリシー データを許容する。
• 単一モデル ρ および対応する V_ρ と π_ρ を介してポリシーと値をパラメータ化する Unified PCL を提供する。
• PCL を標準的な actor-critic および Q-learning に関連付け、それらの両方を一般化することを示す。

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化付きソフトマックス時間的一貫性を用いて、最適なポリシー確率とソフトマックス状態値をどのように関連付けることができるか。
• RQ2 マルチステップのパス整合性は、安定したオフポリシー学習を可能にし、actor-critic と Q-learning を統合できるか。
• RQ3 1つのモデルでポリシーと値の両方を表現することは十分か、Unified PCL は PCL と比較してどう性能か。
• RQ4 PCL と Unified PCL は、A3C や DQN などの伝統的なベースラインに対して、ベンチマーク全体でどのような経験的利点をもたらすか。

主な発見

• ソフトマックス時間的一貫性は、エントロピー正則化 (τ>0) の下で、最適なポリシー確率をソフトマックス状態値に結びつける。
• PCL は、多ステップ軌跡に渡るパス単位の整合誤差を最小化し、安定したオフポリシー学習を実現する。
• Unified PCL は単一モデルからポリシーと値を学習でき、新しい actor-critic パラダイムとして機能する。
• 実証的に、PCL と Unified PCL は、複数のベンチマークで強力な actor-critic および Q-learning ベースラインを上回り、専門家の軌跡はさらに性能を高める。
• オフポリシー データを含むリプレイバッファの使用は、パス整合性目的と適合し、競争力のある結果を生む。
• PCL は難しいタスクで A3C の性能にほぼ匹敵するか超え、報告された実験では一貫して DQN を上回る。