[論文レビュー] Nonlinear Distributional Gradient Temporal-Difference Learning

Chao Qu, Shie Mannor+1 more|arXiv (Cornell University)|May 20, 2018

Model Reduction and Neural Networks参考文献 25被引用数 10

ひとこと要約

本稿では、Cramér距離を用いて価値期待値ではなく価値分布を最適化する非線形な分布的勾配時差学習の変種—分布的GT D2、TDC、およびグリーディ-GQ—を提案する。これらのアルゴリズムは、一般の滑らかな関数近似器（ニューラルネットワークを含む）を用いた場合でも、局所最適解への漸近的ほとんど確実な収束を保証し、オンポリシーおよびオフポリシー設定の両方で、標準的な非分布的対応手法よりも優れた安定性と性能を示す。

ABSTRACT

We devise a distributional variant of gradient temporal-difference (TD) learning. Distributional reinforcement learning has been demonstrated to outperform the regular one in the recent study \citep{bellemare2017distributional}. In the policy evaluation setting, we design two new algorithms called distributional GTD2 and distributional TDC using the Cram{é}r distance on the distributional version of the Bellman error objective function, which inherits advantages of both the nonlinear gradient TD algorithms and the distributional RL approach. In the control setting, we propose the distributional Greedy-GQ using the similar derivation. We prove the asymptotic almost-sure convergence of distributional GTD2 and TDC to a local optimal solution for general smooth function approximators, which includes neural networks that have been widely used in recent study to solve the real-life RL problems. In each step, the computational complexities of above three algorithms are linear w.r.t.\ the number of the parameters of the function approximator, thus can be implemented efficiently for neural networks.

研究の動機と目的

• オフポリシー設定における非線形関数近似への分布的強化学習の拡張を目的とする。
• 非線形関数近似器を用いたオフポリシー状況下での標準TD学習の不安定性を解消することを目的とする。
• 価値期待値ではなく価値分布を学習する理論的裏付けが明確で、安定なアルゴリズムの開発を目的とする。
• 実用的なディープ強化学習と、分布的強化学習における理論的収束保証のギャップを埋めることを目的とする。
• リターンの分布的表現を通じて、サンプル効率の向上と学習の安定性の向上を目的とする。

提案手法

• 予測値分布とターゲット値分布の乖離を測るため、Cramér距離を用いた分布的ベルマン誤差の目的関数を定式化する。
• 勾配時差フレームワークを変更し、射影されたCramér距離を最小化することで、非線形関数近似器を用いた収束を可能にする。
• Cramérベースの目的関数に基づく確率的勾配降下法を用い、分布的GT D2およびTDCをポリシー評価に適用する。
• 同じCramér距離度量を用いて、グリーディ-GQの目的関数を分布的設定に拡張し、分布的グリーディ-GQを提案する。
• 滑らかな関数近似器としてニューラルネットワークを採用し、パラメータ数に対して線形計算複雑度を保証する。
• 実験では経験リプレイとオフポリシーのデータ収集を用い、価値分布を離散的なアトムとソフトマックス出力層で表現する。

実験結果

リサーチクエスチョン

• RQ1 理論的収束保証のもとで、分布的強化学習を非線形関数近似器に拡張できるか？
• RQ2 分布的ベルマン誤差におけるCramér距離の最小化は、非線形設定下で平均二乗誤差よりも安定かつ正確な学習をもたらすか？
• RQ3 分布的GT D2およびTDCは、一般の滑らかな関数近似器のもとで、局所最適解への漸近的収束を達成できるか？
• RQ4 分布的グリーディ-GQは、標準的なDQNおよびC51と比較して、サンプル効率および性能の安定性に優れているか？
• RQ5 リターンの全価値分布を学習することで、オフポリシーのディープ強化学習における探索性の向上と分散の低減が図れるか？

主な発見

• 分布的GT D2およびTDCは、非線形関数近似器（ニューラルネットワークを含む）を用いた場合でも、弱い条件下で局所最適解へのほとんど確実な収束を示す。
• オンポリシーおよびオフポリシー環境の両方で、非分布的対応手法と比較して、著しく低い分散とより安定した学習曲線を示す。
• CartPoleおよびLunarLander環境では、分布的グリーディ-GQがDQNを上回り、累積報酬および安定性においてC51と同等またはわずかに上回る性能を発揮する。
• VizDoom環境では、7,000回の学習エピソードを経過した後、分布的グリーディ-GQがC51を最終的に上回り、より強い長期的学習能力を示す。
• MSPBE指標の観点から、オフポリシー設定において、より少ない振動とより速い収束を示し、一貫した性能向上を達成する。
• 離散的なアトムとソフトマックス出力層を用いた価値分布の表現により、マルチモーダルなリターン分布の有効なモデル化が可能となり、学習の安定性が向上する。