[論文レビュー] Ctrl-Z: Recovering from Instability in Reinforcement Learning

Vibhavari Dasagi, Jake Bruce+2 more|arXiv (Cornell University)|Oct 9, 2019

Reinforcement Learning in Robotics参考文献 36被引用数 13

ひとこと要約

本論文では、関数近似誤差、ハイパーパramータの感受性、または探索の不十分さによって劣化する可能性のある自己生成トレーニングデータに起因するオンライン強化学習における不安定性を解消するため、モデルに依存しない手法Ctrl-Zを提案する。この手法は、統計的仮説検定を用いて定期的にポリシーの性能を評価し、性能の改善が止まったり低下した場合には、最もパフォーマンスの高かった過去のポリシーチェックポイントにロールバックする。この手法により、トレーニングの安定性と耐障害性が著しく向上し、6つの環境のうち5つでDDPGを上回る性能を示し、ハイパーパramータの摂動に対してもTD3と同等の性能を維持する。計算コストの増加も最小限に抑えられる。

ABSTRACT

When learning behavior, training data is often generated by the learner itself; this can result in unstable training dynamics, and this problem has particularly important applications in safety-sensitive real-world control tasks such as robotics. In this work, we propose a principled and model-agnostic approach to mitigate the issue of unstable learning dynamics by maintaining a history of a reinforcement learning agent over the course of training, and reverting to the parameters of a previous agent whenever performance significantly decreases. We develop techniques for evaluating this performance through statistical hypothesis testing of continued improvement, and evaluate them on a standard suite of challenging benchmark tasks involving continuous control of simulated robots. We show improvements over state-of-the-art reinforcement learning algorithms in performance and robustness to hyperparameters, outperforming DDPG in 5 out of 6 evaluation environments and showing no decrease in performance with TD3, which is known to be relatively stable. In this way, our approach takes an important step towards increasing data efficiency and stability in training for real-world robotic applications.

研究の動機と目的

• 関数近似誤差、ハイパーパramータの感受性、または探索の不十分さによって劣化する可能性のある自己生成トレーニングデータに起因するオンライン強化学習における不安定性を解消すること。
• ポリシー更新を制約せずに、モデルに依存せず、計算コストが低い回復メカニズムを構築すること。
• 実世界のロボットアプリケーションにおいて、不安定な学習がコストとリスクを増加させるため、データ効率性と安全性を向上させること。
• 特に連続的制御ベンチマークにおいて、多様なハイパーパramータ設定や強化学習アルゴリズムに対して、本手法の耐障害性を評価すること。

提案手法

• 本手法は、現在のポリシーを過去のチェックポイントの履歴と統計的仮説検定を用いて定期的に評価し、改善が継続しているかどうかを判断する。
• 改善継続の確率が事前に定めたしきい値 ρ よりも低い場合、エージェントは以前に最もパフォーマンスの高かったポリシーパラメータにロールバックする。
• 非パラメトリック仮説検定（例：マン・ホイットニーU検定）を用いて報酬分布を比較し、改善継続の確率を推定する。
• 本手法はモデルアーキテクチャ、強化学習アルゴリズム、報酬スケールに依存しないため、広範な応用が可能である。
• 性能の急激な低下に対応できるよう、ポリシーチェックポイントの履歴を保持するローリング評価ウィンドウを用いる。
• しきい値 ρ は経験的にチューニングされており、広い範囲の値で安定した性能を示すことが確認されており、ハイパーパラメータ選択への感受性が低い。

実験結果

リサーチクエスチョン

• RQ1 原理的かつモデルに依存しない手法が、ポリシー更新を制約せずに、深層強化学習におけるパフォーマンス劣化を検出し、回復可能か。
• RQ2 本手法はハイパーパラメータの摂動下でも、トレーニングの安定性と耐障害性をどれほど向上させるか。
• RQ3 本手法は、本質的に不安定なアルゴリズム（例：DDPG）や安定なアルゴリズム（例：TD3）に対しても、パフォーマンスを維持または向上させるか。
• RQ4 しきい値 ρ の選択にどれほど感受性があり、どの範囲の値が最適な性能をもたらすか。

主な発見

• 標準的なハイパーパラメータ設定下で、6つの連続的制御ベンチマーク環境のうち5つで、標準的なDDPGを上回る性能を示し、顕著な性能向上を確認した。
• 安定性が高いとされるTD3に本手法を適用しても、パフォーマンスが低下せず、良好に動作するアルゴリズムに干渉しないことを示した。
• ハイパーパラメータの摂動に対して本手法は耐障害性を示し、DDPGにCtrl-Zを組み込むことで、すべての環境でパフォーマンスの向上が観察された。
• 仮説検定のマン・ホイットニー版が、他の統計的検定と比較して、パフォーマンスと安定性の両面で一貫して優れた結果を示した。
• しきい値 ρ は正確な値に感受性が低く、高性能を示す広い範囲の値が存在することから、チューニングの負担が軽減された。
• 本手法は計算コストの増加が最小限に抑えられており、データ収集が高コストな実世界のロボットアプリケーションにおいて実用的である。