[論文レビュー] How to Make Deep RL Work in Practice

N. Lakshmana Rao, Elie Aljalbout+2 more|arXiv (Cornell University)|Oct 25, 2020

Reinforcement Learning in Robotics参考文献 25被引用数 7

ひとこと要約

本論文は、深層強化学習（RL）の性能に顕著な影響を与える重要な実装の詳細—初期化、入力正規化、適応的学習手法—を調査する。Orthogonal初期化、Advantage正規化、KL-Cutoffといった手法が、PPOを含む安定的かつサンプル効率の良い学習に不可欠であることを示し、連続制御ベンチマークで再現可能で最先端の結果を達成するための実証的ガイドラインを提供する。

ABSTRACT

In recent years, challenging control problems became solvable with deep reinforcement learning (RL). To be able to use RL for large-scale real-world applications, a certain degree of reliability in their performance is necessary. Reported results of state-of-the-art algorithms are often difficult to reproduce. One reason for this is that certain implementation details influence the performance significantly. Commonly, these details are not highlighted as important techniques to achieve state-of-the-art performance. Additionally, techniques from supervised learning are often used by default but influence the algorithms in a reinforcement learning setting in different and not well-understood ways. In this paper, we investigate the influence of certain initialization, input normalization, and adaptive learning techniques on the performance of state-of-the-art RL algorithms. We make suggestions which of those techniques to use by default and highlight areas that could benefit from a solution specifically tailored to RL.

研究の動機と目的

• パフォーマンスに顕著な影響を与える実装詳細を特定することで、深層RLにおける再現性の危機に対処する。
• 通常RLのデフォルトとして使われる教師あり学習由来の手法が、学習の安定性と収束に与える影響を調査する。
• 実務家が信頼できる学習を実現するための、初期化、正規化、適応的学習手法の選択に関する実証的ガイドラインを提供する。
• KL-Cutoff や Advantage 正規化といった特定の実装選択が、PPOが安定した学習を達成するために不可欠であることを強調する。
• パフォーマンスに影響を与える実装詳細を完全に開示するよう提唱することで、RL研究の透明性を高める。

提案手法

• 連続制御ベンチマーク（例：Half-Cheetah, Ant, Walker2d）において、最先端のRLアルゴリズム（PPO, TD3, SAC）を用いた制御されたアブレーションスタディを実施する。
• Xavier, Kaiming, LeCun, Orthogonal の異なる初期化方式の影響を評価し、初期アクション分布と初期探索行動に注目する。
• ポリシーおよび価値ネットワークへの入力正規化（例：ランニング平均と分散）の効果を評価し、異なるアルゴリズム間でのパフォーマンスを比較する。
• PPOにおける適応的学習手法の影響を調査：学習率スケジューリング（LRS）、Advantage正規化（AN）、KL-カット（KL-Cutoff）、KLストッピング、勾配クリッピング。
• 統計的有意性検定と信頼区間を用いて、異なる設定間でのパフォーマンス差を検証する。
• 完全な実装と評価パイプラインをオープンソース化し、再現可能性とコミュニティによる再利用を確保する。

実験結果

リサーチクエスチョン

• RQ1 異なるニューラルネットワーク初期化方式は、深層RLにおける初期アクション分布と初期探索行動にどのように影響を与えるか？
• RQ2 入力正規化は、Q学習ベースのアルゴリズム（例：TD3, SAC）とポリシーグラデントベースのアルゴリズム（例：PPO, TRPO）の両方において、どの程度パフォーマンスを向上させるか？
• RQ3 PPOにおける安定的かつサンプル効率の良い学習に不可欠な適応的学習手法（学習率スケジューリング、Advantage正規化、KLクリッピング）はどれか？
• RQ4 一般的に使われるベースライン（例：OpenAI Baselines）が最適パフォーマンスを達成できない理由は何か？欠落している実装詳細は何か？
• RQ5 LRS、AN、KL-Cutoff といった適応的手法の組み合わせは、一貫して所望のKLダイバージェンスのしきい値（0.01）を維持し、最終的なパフォーマンスを向上させることができるか？

主な発見

• Orthogonal初期化は、すべての評価対象アルゴリズムと環境で他と比較して一貫して優れた性能を示し、最も安定的かつサンプル効率の良い学習を実現する。
• 入力正規化はTRPOのパフォーマンスを顕著に向上させるが、TD3 や SAC といったQ学習ベースのアルゴリズムには恩恵がなく、むしろパフォーマンスを低下させる可能性がある。
• PPOでは適応的学習手法がなければ学習が成立しない：学習率スケジューリングとAdvantage正規化が欠落していると、大多数の環境で学習進捗が観察されない。
• KL-Cutoff は唯一、所望のKLダイバージェンスのしきい値（0.01）を安定的に維持でき、ベースラインを上回るか同等のパフォーマンスを達成する。一方、KLストッピングは平均KLを増加させ、学習を遅くする。
• Advantage正規化はKLダイバージェンスの学習スパイクをフィルタリングし、学習率スケジューリングは平均KLを低減する。両者の組み合わせは、最も安定した学習を実現する。
• 学習率スケジューリング、Advantage正規化、KL-Cutoff の組み合わせが、PPOにおいて最良の最終的パフォーマンスを達成する。これは、これらの手法が選択肢ではなく、信頼できる学習を実現する上で不可欠であることを示している。