[論文レビュー] Total stochastic gradient algorithms and applications in reinforcement learning

Paavo Parmas|arXiv (Cornell University)|Feb 5, 2019

Reinforcement Learning in Robotics被引用数 9

ひとこと要約

本論文は、全微分則を用いた確率的計算グラフにおける勾配推定のための新規フレームワークを導入し、ポリシー勾配推定子の直感的な導出を可能にする。新たに提案された推定子であるDEL（密度推定に基づく）およびGS（中間ノードへのジャンプ）により、PILCOの強化学習における成功が、勾配安定化および報酬スムージングの両方によって説明できる証拠が提示される。

ABSTRACT

Backpropagation and the chain rule of derivatives have been prominent; however, the total derivative rule has not enjoyed the same amount of attention. In this work we show how the total derivative rule leads to an intuitive visual framework for creating gradient estimators on graphical models. In particular, previous "policy gradient theorems" are easily derived. We derive new gradient estimators based on density estimation, as well as a likelihood ratio gradient, which "jumps" to an intermediate node, not directly to the objective function. We evaluate our methods on model-based policy gradient algorithms, achieve good performance, and present evidence towards demystifying the success of the popular PILCO algorithm.

研究の動機と目的

• 確率的計算グラフにおける勾配推定子の導出を統一的かつ直感的に可能にするフレームワークの開発。
• シュルマンらの補助損失アプローチのような既存のフレームワークの限界、特に決定的ポリシー勾配や全伝搬をカバーしない点を解決。
• ガウス近似に基づく軌道近似における勾配と報酬の効果を分離することで、PILCOアルゴリズムの成功に対する新たな洞察を提供。
• 混沌の呪いを回避し、ノイズの注入を必要としない新規勾配推定子の導入により、サンプル効率と安定性の向上を実現。

提案手法

• 確率的グラフ内の計算パスに沿って勾配を分解するため、全微分則 $\frac{df}{da} = \frac{\partial f}{\partial a} + \frac{\partial f}{\partial b}\frac{db}{da}$ を使用。
• ノイズの注入を必要とせず、密度推定を用いて勾配を推定するDEL（密度推定に基づく尤度比）推定子を提案。
• 最終目的関数ではなく、計算グラフ内の中間ノードに対して尤度比勾配推定を行うGS（中間ノードへの勾配）推定子を導入。
• モデルベースのポリシー勾配アルゴリズムにフレームワークを適用し、カート・ポールのスイングアップおよびバランスタスクで性能を評価。
• モデル構造と推論アルゴリズムを分離する確率的計算グラフの抽象化を採用し、確率的グラフィカルモデルに類似。
• 合成および実世界のベンチマークを用いてGTP（一般化全伝搬）、PILCO、および他のベースラインを比較し、成功確率と損失分布を測定。

実験結果

リサーチクエスチョン

• RQ1 全微分則をどのように確率的計算グラフにおける勾配推定子の体系的導出に応用できるか？
• RQ2 中間ノードへの推定（GS）と直接的推定（目的関数へ）の間の概念的および実証的利点は何か？
• RQ3 PILCOにおけるガウス近似がその成功に寄与する要因は、勾配安定化か報酬スムージングのどちらか、あるいは両方か？
• RQ4 密度推定に基づく勾配推定子（DEL）は、混沌の呪いを回避し、ノイズの注入を不要とすることができるか？
• RQ5 カート・ポールのスイングアップのような困難な制御タスクにおいて、異なる勾配推定子はデータ効率およびロバスト性の面でどのように比較されるか？

主な発見

• GS推定子は、パーティクル軌道における時間的依存性を保持しつつ、離散的計算を経由したバックプロパゲーションを可能にするが、リサンプリングに基づく手法とは異なり、そのような依存性を失わない。
• Tip CostタスクにおいてGTPはPILCOと同等の性能を示し、最終損失は $9.78 \pm 0.40$ であり、PILCOの $9.10 \pm 0.22$ と比較的近い。
• 低ノイズ（$k=10^{-2}$）のAngle Costシナリオでは、GTPは成功確率0.88を達成し、PILCOと同等の性能を示した。一方、TP（全伝搬）は著しく劣り、0.82の成功確率にとどまった。
• DEL推定子は、混沌の呪いを回避し、ノイズの注入を不要とするという観点から強く概念的有望であるが、さらなる開発が求められる。
• GTPおよびPILCOにおける外れ値は、ガウス分布の尾部を利用する局所最適解への収束に起因しており、PILCOの探索戦略に関する従来の仮定に疑問を呈する。
• 勾配安定化とガウス近似による報酬スムージングの両方が、PILCOの成功に寄与しており、特に尤度比ベースの手法が失敗する高ノイズ環境では、後者が特に有効である。