[論文レビュー] Stabilizing Off-Policy Deep Reinforcement Learning from Pixels

Edoardo Cetin, Philip Ball+2 more|arXiv (Cornell University)|Jul 3, 2022

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本論文は、畳み込みエンコーダーと低マグニチュードのスパース報酬を併用したTD学習が、画像からのオフポリシー強化学習における不安定性の根本的原因である「視覚的致命的三重奏（visual deadly triad）」を特定した。これにより、自己過剰適合が進行する。本論文では、学習可能レイヤーを用いた適応的勾配正則化と二重目的を組み合わせたA-LIXを提案し、データ拡張や補助損失を一切用いずにDeepMind ControlおよびAtari 100kで最先端の性能を達成した。

ABSTRACT

Off-policy reinforcement learning (RL) from pixel observations is notoriously unstable. As a result, many successful algorithms must combine different domain-specific practices and auxiliary losses to learn meaningful behaviors in complex environments. In this work, we provide novel analysis demonstrating that these instabilities arise from performing temporal-difference learning with a convolutional encoder and low-magnitude rewards. We show that this new visual deadly triad causes unstable training and premature convergence to degenerate solutions, a phenomenon we name catastrophic self-overfitting. Based on our analysis, we propose A-LIX, a method providing adaptive regularization to the encoder's gradients that explicitly prevents the occurrence of catastrophic self-overfitting using a dual objective. By applying A-LIX, we significantly outperform the prior state-of-the-art on the DeepMind Control and Atari 100k benchmarks without any data augmentation or auxiliary losses.

研究の動機と目的

• オフポリシー強化学習における画像観測からの不安定性の根本原因を特定すること。
• 勾配信号の損傷を分析することで、既存手法がなぜデータ拡張や補助損失に依存しているかを説明すること。
• 補助損失や画像拡張を一切用いずに訓練を安定化させる手法を提案すること。
• 提案された正則化のみを用いて、DeepMind ControlおよびAtari 100kベンチマークで最先端の性能を示すこと。

提案手法

• 不安定性の原因として、TD損失、正則化のないCNNエンコーダー、低マグニチュードの報酬からなる「視覚的致命的三重奏」を提案する。
• 勾配信号の不連続性を定量化し、自己過剰適合を予測するための「正規化不連続性（Normalized Discontinuity, ND）スコア」を導入する。
• パラメトリックな空間正則化を通じて特徴マップにおける滑らかな勾配を明示的に強制する、学習可能なレイヤーLIXを設計する。
• 推定されたNDスコアに基づいてLIXのパラメータを適応的に調整する二重目的を採用し、訓練の安定化を図る。
• 主な訓練目的を変更せず、補助損失を追加せず、オフポリシーアルゴリズムにA-LIXを統合する。
• DeepMind ControlおよびAtari 100kでの実験により、データ拡張や補助ヘッドを一切使用せずに優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 プロプライオセプティブな設定では成功しているにもかかわらず、なぜオフポリシー強化学習アルゴリズムは画像観測からの学習で安定しないのか？
• RQ2 TD学習、畳み込みエンコーダー、スパース報酬の組み合わせが、視覚的強化学習における不安定な最適化を引き起こす仕組みは何か？
• RQ3 特徴マップにおける高周波数勾配が、早期収束や退化した解を引き起こす役割は何か？
• RQ4 なぜ先行研究の最先端手法では、データ拡張や補助損失が一般的に使用されているのか？
• RQ5 複数のヒューリスティックな要素を置き換えるために、1つの適応的正則化機構で十分なのか？

主な発見

• 視覚的致命的三重奏により、エンコーダーの特徴マップに高周波数の勾配が生じ、最適化が不安定になり、早期収束が発生する。
• 正規化不連続性（ND）スコアは、エージェントの性能と強く相関しており、自己過剰適合を予測できる。
• A-LIXは、データ拡張や補助損失を一切使用せず、DeepMind ControlおよびAtari 100kベンチマークで先行研究を大きく上回る性能を達成した。
• A-LIXで訓練されたエージェントは、行動価値関数において行動変更に対する感度が高いため、より安定したポリシー最適化が実現している。
• 損失関数の表面解析とチェッカーボードアーチファクト実験により、A-LIXは特徴マップにおける高周波数ノイズへの過剰適合を低減していることが示された。
• A-LIXは最小限のハイパーパrameterチューニングで安定した訓練を可能とし、多様な視覚的強化学習環境においても頑健であることが示された。