[論文レビュー] Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning

Shixiang Gu, Timothy Lillicrap+4 more|arXiv (Cornell University)|Jun 1, 2017

Reinforcement Learning in Robotics参考文献 29被引用数 9

ひとこと要約

この論文は、制御変数を用いて、オンポリシーの尤度比勾配とオフポリシーの決定的ポリシー勾配を統合する統一フレームワークである補間政策勾配（IPG）を提案する。学習可能なパラメータνを用いてこれらの2つのアプローチを補間することで、IPGはより高いサンプル効率と安定性を達成し、OpenAI Gymの連続的制御ベンチマークにおいて、先行する最先端手法を上回る性能を発揮する。

ABSTRACT

Off-policy model-free deep reinforcement learning methods using previously collected data can improve sample efficiency over on-policy policy gradient techniques. On the other hand, on-policy algorithms are often more stable and easier to use. This paper examines, both theoretically and empirically, approaches to merging on- and off-policy updates for deep reinforcement learning. Theoretical results show that off-policy updates with a value function estimator can be interpolated with on-policy policy gradient updates whilst still satisfying performance bounds. Our analysis uses control variate methods to produce a family of policy gradient algorithms, with several recently proposed algorithms being special cases of this family. We then provide an empirical comparison of these techniques with the remaining algorithmic details fixed, and show how different mixing of off-policy gradient estimates with on-policy samples contribute to improvements in empirical performance. The final algorithm provides a generalization and unification of existing deep policy gradient techniques, has theoretical guarantees on the bias introduced by off-policy updates, and improves on the state-of-the-art model-free deep RL methods on a number of OpenAI Gym continuous control benchmarks.

研究の動機と目的

• オンポリシーとオフポリシーの深層強化学習手法を統合し、単一で安定したフレームワークに統合すること。
• 尤度比法と決定的勾配法を組み合わせることで、ポリシー勾配推定における分散とバイアスを低減すること。
• 統一されたアルゴリズム族において、オフポリシー更新によって生じるバイアスの理論的バウンディングを提供すること。
• 複数の連続的制御環境において、オンポリシーの安定性とオフポリシーのサンプル効率のトレードオフを実証的に評価すること。
• ハイブリッドアプローチとしての中間補間（ν ≈ 0.2）が、純粋なオンポリシーまたはオフポリシー手法に比べて優れた性能を発揮することを示すこと。

提案手法

• 制御変数法を用いてオンポリシーとオフポリシー更新の間を補間するパラメータ化されたポリシー勾配アルゴリズムの族を提案する。
• オンポリシーの尤度比勾配とオフポリシーの決定的ポリシー勾配の寄与を、混合パラメータνでバランスする。
• 勾配の分散低減のため、クライアントネットワークを用いてQ値関数を推定し、それを制御変数として用いる。
• ν = 1の場合に信頼領域制約をポリシー更新に適用し、TRPOやQ-Propと同等の安定性を確保する。
• 補間された勾配推定器のバイアスに理論的バウンディングを導出する。その結果、バイアスが許容範囲内に保たれることを示す。
• リプレイバッファを用いてオフポリシー遷移を保存・再利用し、データ効率を向上させる一方で、制御された補間により安定性を維持する。

実験結果

リサーチクエスチョン

• RQ1 統一フレームワークは、深層強化学習におけるオンポリシー学習の安定性とオフポリシー学習のデータ効率を効果的に統合できるか？
• RQ2 補間によるオフポリシー更新の導入がもたらす理論的影響は何か？バイアスはバウンディング可能か？
• RQ3 補間パラメータνの選択が、異なる環境における学習の安定性とサンプル効率に与える影響は何か？
• RQ4 オンポリシー探索とオフポリシー学習を組み合わせることで、挑戦的な連続的制御タスクにおける性能が向上するか？
• RQ5 Q-Prop、ACER、PGQといった既存手法が、より一般的な補間フレームワークの特殊ケースとして理解できるか？

主な発見

• IPG-ν=0.2は、OpenAI Gymの連続的制御ベンチマークにおいて、Q-Prop、TRPO、および先行のアクタクリティック手法を一貫して上回った。
• Ant-v1では、IPG-ν=1が標準的なDDPGよりも顕著に高い平均報酬を達成したが、DDPGは最適でないポリシーに陥っていた。
• ブラウン運動ノイズを探索に用いた場合、IPG-ν=1は急激に性能を低下させた。これは、著しく逸脱したポリシーからのオフポリシーサンプルが過剰なバイアスをもたらすという理論的主張を裏付ける。
• IPG-ν=1では信頼領域の適用により、同じ探索ノイズを使用してもDDPGに比べて安定性と性能が向上した。これは、制限付きのポリシー更新によるものである。
• 実証的結果から、中間的なν値（例：ν = 0.2–0.4）が最良の性能を発揮することが示された。これは、バイアス低減とデータ効率のトレードオフを示している。
• PGQ、ACER、Q-Propといった複数の既存手法が、提案されたIPGフレームワークの特殊ケースとして示された。これにより、IPGの統合的パワーが裏付けられた。