[論文レビュー] Deep Primal-Dual Reinforcement Learning: Accelerating Actor-Critic using Bellman Duality

Woon Sang Cho, Mengdi Wang|arXiv (Cornell University)|Dec 7, 2017

Reinforcement Learning in Robotics参考文献 14被引用数 7

ひとこと要約

本稿では、ベルマン双対性を活用して価値関数と方策の更新を正則化されたラグランジュ形式によって結合する、深層プリマルデュアル強化学習（Deep Primal-Dual Reinforcement Learning）という、新しいアクタークリティック手法を提案する。アドバンテージ関数をペナルティ項として組み込むことで、訓練の安定性が向上し、標準的な1ステップTDアクタークリティックよりも収束が速く、Cart-Pole実験においてはサンプルの複雑さが低減することを示している。

ABSTRACT

We develop a parameterized Primal-Dual $π$ Learning method based on deep neural networks for Markov decision process with large state space and off-policy reinforcement learning. In contrast to the popular Q-learning and actor-critic methods that are based on successive approximations to the nonlinear Bellman equation, our method makes primal-dual updates to the policy and value functions utilizing the fundamental linear Bellman duality. Naive parametrization of the primal-dual $π$ learning method using deep neural networks would encounter two major challenges: (1) each update requires computing a probability distribution over the state space and is intractable; (2) the iterates are unstable since the parameterized Lagrangian function is no longer linear. We address these challenges by proposing a relaxed Lagrangian formulation with a regularization penalty using the advantage function. We show that the dual policy update step in our method is equivalent to the policy gradient update in the actor-critic method in some special case, while the value updates differ substantially. The main advantage of the primal-dual $π$ learning method lies in that the value and policy updates are closely coupled together using the Bellman duality and therefore more informative. Experiments on a simple cart-pole problem show that the algorithm significantly outperforms the one-step temporal-difference actor-critic method, which is the most relevant benchmark method to compare with. We believe that the primal-dual updates to the value and policy functions would expedite the learning process. The proposed methods might open a door to more efficient algorithms and sharper theoretical analysis.

研究の動機と目的

• 関数近似を用いた大規模なMDPにおける、直接的な深層プリマルデュアル学習の不安定性と非可解性に対処すること。
• ベルマン双対性を活用して、価値関数と方策の更新をより緊密に結合し、学習効率を向上させること。
• アドバンテージ関数を用いた正則化ペナルティを導入することで、パラメトリックなプリマルデュアル更新の安定化を図ること。
• 特定の条件下で、双対方策更新が標準的な方策勾配と同等であることを示し、実装の実用性を確保すること。
• 現在の方策の行動に基づいて価値更新を条件づけることで、サンプル効率を向上させること。

提案手法

• 訓練の安定化を図るため、アドバンテージ関数の二乗に比例する正則化ペナルティ項を含む緩和されたラグランジュ形式を提案する。
• ベルマン双対性に基づき、価値関数と方策パラメータを同時に更新するプリマルデュアルステップを用いたミニマックス最適化フレームワークを採用する。
• 正則化されたラグランジュ形式におけるキーパーツとして、アドバンテージ関数 $ A_{\theta_v}(s,a) $ を用い、安定性の向上と収束の改善を図る。
• 定常分布下で数学的に標準的な方策勾配更新と同等のポリシー更新を導出する。これにより、$ \alpha $ の推定を必要とせず、オンライン学習が可能になる。
• 正則化されたラグランジュ形式に対して確率的勾配降下法を適用し、価値関数ネットワークと方策ネットワークを、オンポリシー経験に基づいて連携して更新する。
• 訓練中にアドバンテージ関数のバイアス付き推定として、1ステップの時系列差分誤差 $ \delta_{\theta_v}(s,a) $ を用いる。

実験結果

リサーチクエスチョン

• RQ1 ベルマン双対性に基づくプリマルデュアル手法は、大規模な状態空間を有する深層強化学習に効果的に適応可能か？
• RQ2 深層RLにおけるパラメトリックなプリマルデュアル更新の非凸性と不安定性は、どのように緩和可能か？
• RQ3 ベルマン双対性を介して価値関数と方策の更新を結合することで、標準的なアクタークリティック手法よりも高速な収束が達成可能か？
• RQ4 提案手法における双対方策更新は、適切な条件下で標準的な方策勾配と同等か？
• RQ5 現在の方策の行動に基づいて価値更新を条件づけることで、サンプル効率が向上するか？

主な発見

• 提案手法は、1ステップTDアクタークリティックベースラインと比較して、サンプル複雑度が顕著に低減されているが、累積報酬の分散はわずかに高い。
• 定常分布が使用される場合、双対形式における方策勾配更新は、数学的に標準的な方策勾配定理と同等であることが示され、理論的基盤の妥当性が裏付けられた。
• ベルマン双対性のおかげで、価値関数と方策の更新がより情報量が多く、緊密に結合されているため、学習ダイナミクスが高速化されている。
• アドバンテージ関数を用いた正則化が、パラメトリックなプリマルデュアル更新の発散を防ぎ、訓練の安定化を実現した。
• Cart-Pole環境における実験では、アルゴリズムがベースラインのアクタークリティック手法よりも速く収束し、より少ないサンプル数で学習を完了した。
• 定常分布 $ \alpha $ の直接推定を回避することで、高コストな計算を伴わず、オンラインかつオンポリシー学習が可能になった。