[論文レビュー] Actor-critic versus direct policy search: a comparison based on sample complexity

Arnaud de Froissard de Broissia, Olivier Sigaud|arXiv (Cornell University)|Jun 29, 2016

Reinforcement Learning in Robotics参考文献 20被引用数 9

ひとこと要約

この論文は、連続的マウンテンカー問題というベンチマーク上で、アクター・クリティック型深層強化学習アルゴリズムであるデュアル・ディターミニスティック・ポリシー・グラデント（DDPG）と、直接的ポリシー探索手法である共分散行列適応進化戦略（CMA-ES）のサンプル効率を比較している。DDPGは、リプレイバッファと勾配ベース最適化を用いることで、後者よりもはるかに少ない環境との相互作用回数で収束を達成し、顕著に優れたサンプル効率を示している。これは、CMA-ESが確率的で勾配フリーの探索を採用しているにもかかわらず、報酬重み付け機構を備えているにもかかわらず、依然として劣る結果を示している。

ABSTRACT

Sample efficiency is a critical property when optimizing policy parameters for the controller of a robot. In this paper, we evaluate two state-of-the-art policy optimization algorithms. One is a recent deep reinforcement learning method based on an actor-critic algorithm, Deep Deterministic Policy Gradient (DDPG), that has been shown to perform well on various control benchmarks. The other one is a direct policy search method, Covariance Matrix Adaptation Evolution Strategy (CMA-ES), a black-box optimization method that is widely used for robot learning. The algorithms are evaluated on a continuous version of the mountain car benchmark problem, so as to compare their sample complexity. From a preliminary analysis, we expect DDPG to be more sample efficient than CMA-ES, which is confirmed by our experimental results.

研究の動機と目的

• 最新のポリシー最適化アルゴリズムの連続的制御タスクにおけるサンプル効率を評価・比較すること。
• DDPGのようなアクター・クリティック手法が、CMA-ESのような直接的ポリシー探索手法よりもサンプル効率に優れているかどうかを調査すること。
• 制御されたベンチマーク環境において、DDPGとCMA-ESの間のサンプル効率の差に寄与する要因を特定すること。
• ロボット学習の文脈において、深層強化学習とブラックボックス最適化の相対的パフォーマンスに関する実証的証拠を提供すること。

提案手法

• 研究は、ポリシー最適化のベンチマーク環境として、連続的マウンテンカー問題を用いている。
• DDPGは、アクター（ポリシー）とクリティック（価値関数）の両方で深層ニューラルネットワークを採用し、経験遷移を格納・再利用するためのリプレイバッファを用いている。
• DDPGは、訓練の安定化のためのターゲットネットワークとバッチ正規化を実装しており、オフポリシー更新を伴う時系列差分学習を活用している。
• CMA-ESは、性能に基づいてポリシーのパラメータをサンプリング・更新する多変量正規分布を用いて、確率的で勾配フリーの最適化により直接的ポリシー探索を実行している。
• 両アルゴリズムは、公平な比較を保つために、同一の280パラメータを持つニューラルネットワークポリシー表現を用いている。
• 実験では、性能の閾値に達するまでに必要な環境との相互作用回数を測定しており、複数回の実行結果の平均値が用いられている。

実験結果

リサーチクエスチョン

• RQ1 DDPGは連続的制御タスクにおいてCMA-ESよりもサンプル効率が優れているか？
• RQ2 DDPGのCMA-ESに対する優れたサンプル効率の背後にある、具体的なアルゴリズム的要因は何か？
• RQ3 リプレイバッファと勾配ベース最適化は、確率的で勾配フリーの探索に比べて、データ再利用性と収束速度の点でどのように差をつけるか？
• RQ4 アクター・クリティック手法における価値関数近似の統合は、収束に必要な環境との相互作用回数を減らすか？

主な発見

• DDPGは、連続的マウンテンカーベンチマークにおいて、CMA-ESよりもはるかに少ない環境との相互作用回数で収束を達成し、顕著に優れたサンプル効率を示している。
• DDPGにおけるリプレイバッファの使用により、収集した経験の有効な再利用が可能となり、追加の環境との相互作用なしにポリシー更新が可能になった。
• DDPGはCMA-ESよりも低い分散を示しており、学習ダイナミクスがより安定的かつ予測可能であることが示された。
• CMA-ESの近似自然勾配降下法でさえ、DDPGが採用する解析的勾配降下法の有効性には及ばない。
• DDPGのクリティックは、軌道の再評価なしにポリシー改善を可能にし、新しい環境サンプルへの依存を減らした。
• 結果から、DDPGのようなアクター・クリティック手法は、直接的ポリシー探索よりも、サンプル制約のあるロボット学習のシナリオに適していると考えられる。