[論文レビュー] Are Deep Policy Gradient Algorithms Truly Policy Gradient Algorithms

Andrew Ilyas, Logan Engstrom+5 more|arXiv (Cornell University)|Nov 6, 2018

Reinforcement Learning in Robotics参考文献 1被引用数 34

ひとこと要約

この論文は、深層方策勾配アルゴリズムがその理論的枠組みに実際に従っているかどうかを調査する。勾配推定、価値予測、最適化の形状の細分化された分析を通じて、顕著な不一致が明らかになった。すなわち、サロゲート目的関数は報酬の形状と一致せず、価値推定器は真の価値関数をうまく適合できないし、勾配推定値は真の勾配と相関が薄い。これは、現在の深層強化学習手法における理論と実践の根本的な隔たりを示している。

ABSTRACT

We study how the behavior of deep policy gradient algorithms reflects the conceptual framework motivating their development. To this end, we propose a fine-grained analysis of state-of-the-art methods based on key elements of this framework: gradient estimation, value prediction, and optimization landscapes. Our results show that the behavior of deep policy gradient algorithms often deviates from what their motivating framework would predict: the surrogate objective does not match the reward landscape, learned value estimators fail to fit the value function, and gradient estimates poorly correlate with the true gradient. The mismatch between predicted and empirical behavior we uncover highlights our poor understanding of current methods, and indicates the need to move beyond current benchmark-centric evaluation methods.

研究の動機と目的

• 深層方策勾配アルゴリズムがその理論的枠組みによって予測される通りに振る舞うかどうかを評価すること。
• 方策勾配手法の概念的動機付けと、実際の実装における行動の間にある乖離を特定すること。
• アルゴリズム設計の根本的欠陥を隠蔽する可能性がある、現在のベンチマーク中心の評価手法に挑戦すること。
• 最先端の深層方策勾配アルゴリズムにおける、勾配推定、価値予測、最適化の形状という主要な構成要素を詳細に分析すること。

提案手法

• 著者らは、勾配推定、価値予測、最適化の形状というコアなフレームワーク要因に分解することで、最先端の深層方策勾配アルゴリズムを詳細に実験的に分析する。
• さまざまな環境において、サロゲート目的関数が実際の報酬形状とどの程度一致するかを評価する。
• 真の価値関数への適合度を測定することで、学習された価値推定器の忠実性を評価する。
• 推定された勾配と真のポリシー勾配の間の相関係数を計算し、勾配推定の品質を評価する。
• 一般化の可能性を確保するため、連続的制御ベンチマークの複数の環境にわたって分析を適用する。
• 理論的予測と実証的観察の間の系統的乖離を強調するために、定量的指標を用いて比較分析を行う。

実験結果

リサーチクエスチョン

• RQ1 深層方策勾配手法におけるサロゲート目的関数は、どの程度真の報酬形状を反映しているか？
• RQ2 実際の状況では、学習された価値推定器は真の価値関数をどの程度正確に近似しているか？
• RQ3 深層方策勾配アルゴリズムにおいて、勾配推定値は真のポリシー勾配とどの程度相関しているか？
• RQ4 なぜ現在のベンチマーク中心の評価手法は、アルゴリズム行動における根本的不整合を検出できないのか？
• RQ5 これらの不一致は、深層強化学習アルゴリズムの理論的理解と設計にどのような影響を及えるか？

主な発見

• 深層方策勾配アルゴリズムで用いられるサロゲート目的関数は、報酬形状の真の形状と一致せず、最適化の目的に不一致があることを示している。
• 最先端の手法における学習された価値推定器は、真の価値関数を信頼性高く適合できないため、ポリシー勾配の分散低減という役割を果たせない。
• これらのアルゴリズムにおける勾配推定値は、真のポリシー勾配と相関が薄く、最適化が意図された方向に進んでいないことを示唆している。
• 観察された乖離は複数の環境にわたり一貫しており、孤立した失敗ではなく、システム的な問題であることが示された。
• これらの不一致は、理論的仮定と実証的行動の間に顕著な隔たりを示しており、現在の評価パラダイムの妥当性に疑問を呈している。