[論文レビュー] Boosting the Actor with Dual Critic

Bo Dai, Albert Shaw+3 more|arXiv (Cornell University)|Dec 29, 2017

Reinforcement Learning in Robotics参考文献 2被引用数 7

ひとこと要約

本稿では、ベルマン最適性方程式のラグランジュ双対形を用いて、方策最適化をエージェントと双対評価者という2人のプレイヤー間のゲームとして定式化する、新たなアクタ・クリティック強化学習アルゴリズムであるデュアル・アクタ・クリティック（Dual-AC）を提案する。マルチステップのブートストラップ、パス正則化、確率的双対上昇を用いて、両方のコンポonentを同じ目的関数に向けて共同最適化することで、Dual-ACはMuJoCo連続制御ベンチマークにおいて、サンプル効率および最終的パフォーマンスの両面でPPOやTRPOを著しく上回る最先端の性能を達成した。

ABSTRACT

This paper proposes a new actor-critic-style algorithm called Dual Actor-Critic or Dual-AC. It is derived in a principled way from the Lagrangian dual form of the Bellman optimality equation, which can be viewed as a two-player game between the actor and a critic-like function, which is named as dual critic. Compared to its actor-critic relatives, Dual-AC has the desired property that the actor and dual critic are updated cooperatively to optimize the same objective function, providing a more transparent way for learning the critic that is directly related to the objective function of the actor. We then provide a concrete algorithm that can effectively solve the minimax optimization problem, using techniques of multi-step bootstrapping, path regularization, and stochastic dual ascent algorithm. We demonstrate that the proposed algorithm achieves the state-of-the-art performances across several benchmarks.

研究の動機と目的

• 標準的なアクタ・クリティック手法における不安定性と低いサンプル効率を是正するため、評価者の役割を再考すること。
• アクタとクリティックが同じ目的関数に向けて共同最適化される、整合的なフレームワークの構築。
• ベルマン方程式の双対形を活用することで、連続制御タスクにおける学習の安定性とパフォーマンスを向上させること。
• 双最適化に基づく強化学習アルゴリズムにおける主な不安定要因を同定し、パス正則化とマルチステップのブートストラップによって是正すること。
• 挑戦的なMuJoCo歩行タスクにおいて、最先端のパフォーマンスを実証すること。

提案手法

• アルゴリズムは、ベルマン最適性方程式のラグランジュ双対形から導出され、方策学習をアクタと双対評価者という2人プレイヤー間のゲームとして定式化する。
• 双対評価者は、現在の方策の下での価値関数ではなく、最適価値関数を近似することを目的としている。これにより、より直接的な方策改善が可能になる。
• ミニマックス最適化問題を解くために確率的双対上昇アルゴリズムが用いられ、共通の目的関数に向けて協調的な更新が保証される。
• マルチステップのブートストラップが導入され、価値推定におけるバイアス・バリアンスのトレードオフが改善される。
• パス正則化が適用され、非凸・非凹な設定における数値的安定性が向上することで、訓練の安定性が向上する。
• 本アルゴリズムは、これらのコンponentsを統合し、連続制御タスクにおける安定的かつサンプル効率の高い訓練手順を実現する。

実験結果

リサーチクエスチョン

• RQ1 現在の方策の価値関数ではなく、最適価値関数を近似する双対評価者を用いることで、より安定的かつ効率的な方策学習が達成できるか？
• RQ2 アクタと双対評価者を共同で最適化する際の主な不安定要因は何か？ そしてそれらはどのように是正できるか？
• RQ3 マルチステップのブートストラップは、双最適化に基づく強化学習におけるバイアス・バリアンスのトレードオフにどのように影響するか？
• RQ4 パス正則化は、非凸・非凹な設定において局所的双対性を回復させ、訓練の安定性を向上させることができるか？
• RQ5 提案されたDual-ACアルゴリズムは、PPO や TRPO といった最先端のベースラインと比較して、多様な連続制御タスクで優れたパフォーマンスを発揮するか？

主な発見

• Dual-ACは、MuJoCo環境の6つ中5つにおいて最高の最終的パフォーマンスを達成した。特に、InvertedDoublePendulum-v1、Hopper-v1、HalfCheetah-v1、Walker-v1が含まれる。
• InvertedDoublePendulum-v1では、Dual-ACの最終リターンは8599.47に達し、PPO（1776.26）およびTRPO（3070.96）を著しく上回った。
• Hopper-v1では、Dual-ACの最終リターンは2983.79であり、PPO（2376.15）およびTRPO（2483.57）を上回った。
• HalfCheetah-v1では、Dual-ACは3041.47を達成し、PPO（2249.10）およびTRPO（2347.19）を著しく上回った。
• Walker-v1では、Dual-ACは4103.60のリターンを達成し、PPO（3315.45）およびTRPO（2838.99）を上回った。
• アブレーションスタディの結果、パス正則化とマルチステップのブートストラップが収束性とパフォーマンスに不可欠であることが確認され、単純なDual-ACでは収束しなかった。