[論文レビュー] A Closer Look at Deep Policy Gradients

Andrew Ilyas, Logan Engstrom+5 more|arXiv (Cornell University)|Nov 6, 2018

Reinforcement Learning in Robotics参考文献 25被引用数 27

ひとこと要約

この論文は、PPOおよびTRPOを含む深層方策勾配法の細分化された分析を実施し、勾配推定、価値予測、最適化のランドスケープといった主要な構成要素が理論的期待と著しく乖離していることを明らかにした。報酬の向上が見られる一方で、勾配推定は真の勾配と相関が低く、価値ネットワークは真の価値関数を正しくモデル化できず、サーヴィェイランス目的関数は真の報酬ランドスケープを歪めて表現しており、深層強化学習における理論と実践の間には深刻なギャップが存在することが示された。

ABSTRACT

We study how the behavior of deep policy gradient algorithms reflects the conceptual framework motivating their development. To this end, we propose a fine-grained analysis of state-of-the-art methods based on key elements of this framework: gradient estimation, value prediction, and optimization landscapes. Our results show that the behavior of deep policy gradient algorithms often deviates from what their motivating framework would predict: the surrogate objective does not match the true reward landscape, learned value estimators fail to fit the true value function, and gradient estimates poorly correlate with the "true" gradient. The mismatch between predicted and empirical behavior we uncover highlights our poor understanding of current methods, and indicates the need to move beyond current benchmark-centric evaluation methods.

研究の動機と目的

• 最新の深層方策勾配アルゴリズムが、その設計の背後にある概念的枠組みをどの程度反映しているかを調査すること。
• 理論的期待に照らして、勾配推定、価値予測、最適化ランドスケープといったコアな構成要素の忠実度を評価すること。
• 現在のベンチマーク中心の評価が、アルゴリズムの行動と信頼性を十分に捉えているという仮定に疑問を呈すること。
• 理論的プリミティブと実効的性能の間のシステム的不一致を特定すること。
• ベンチマーク駆動の評価から、多面的かつメカニズムレベルの評価への転換を提唱すること。

提案手法

• 訓練ステップとサンプルサイズの変動に伴い、推定勾配と真の期待勾配との間のコサイン類似度を経験的に測定する。
• ロールアウトに基づいて価値ネットワークを学習させ、教師あり学習の指標を用いてその予測値を真の価値関数と比較する。
• 複数のランダムシードにわたる勾配推定の分散を評価するために、ブートストラップ信頼区間を用いる。
• MuJoCo Humanoid-v2環境において、サーヴィェイランス目的関数のランドスケープと真の報酬ランドスケープを可視化し、比較する。
• 真の価値関数とゼロベースラインを基準として、価値ネットワークをベースラインとして用いた場合の勾配分散低減効果を評価する。
• 訓練の進行とタスクの複雑さが、勾配推定の質と真の勾配との相関に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 深層方策勾配法における勾配推定は、真の勾配とどの程度相関しているか。また、訓練の進行に伴いこの相関はどのように変化するか。
• RQ2 教師あり学習で訓練された価値ネットワークは、深層RL環境において真の価値関数をどの程度正確に近似できるか。
• RQ3 真の価値関数を用いた場合と比較して、価値ネットワークをベースラインとして用いることで勾配分散はどの程度低減されるか。
• RQ4 実際の運用では、サーヴィェイランス目的関数は真の報酬ランドスケープをどの程度正しく反映しているか。
• RQ5 理論的仮定と実効的行動の間の顕著な不一致にもかかわらず、なぜ深層方策勾配アルゴリズムが成功するのか。

主な発見

• 報酬が向上する一方で、方策更新に用いられる勾配推定は真の勾配と相関が低く、訓練の進行やタスクの複雑さが進むにつれて相関性が低下する。
• 一般的なサンプルサイズ（例：約2,000サンプル）では勾配推定の分散が依然として高く、現在のサンプリング体制では安定した勾配推定が不十分であることを示している。
• 価値ネットワークは教師あり学習タスクをうまく解消できるが、真の価値関数を正しく適合できないため、学習目的と真の価値予測の間に根本的な断絶が生じていると示唆される。
• 真の価値関数を用いた場合と比較して、価値ネットワークをベースラインとして用いることで勾配分散の低減はわずかにしか得られないが、ゼロベースラインに比べてエージェントの性能は著しく向上する。
• サーヴィェイランス目的関数の最適化ランドスケープは、真の報酬ランドスケープを歪めて表現することが多く、後期の訓練段階ではサーヴィェイランス目的関数の増加が真の報酬の低下をもたらすことがある。
• より正確な勾配推定は、より低い学習率を必要とし、場合によっては退化したエージェント行動を引き起こす可能性があり、勾配品質の影響が非単調的かつ直感に反するものであることが示された。