[論文レビュー] Diagnosing Bottlenecks in Deep Q-learning Algorithms

Justin Fu, Aviral Kumar+2 more|arXiv (Cornell University)|Feb 26, 2019

Adversarial Robustness in Machine Learning被引用数 34

ひとこと要約

この論文は、ユニットテストフレームワークとオラクル・ソルバーを用いて、Q学習における関数近似、サンプリング、および非定常性を分析し、大規模なネットワークが安定性を助け、リプレイと早期停止が過適合を緩和し、対立的特徴マッチングを用いたサンプリング手法を提案する。

ABSTRACT

Q-learning methods represent a commonly used class of algorithms in reinforcement learning: they are generally efficient and simple, and can be combined readily with function approximators for deep reinforcement learning (RL). However, the behavior of Q-learning methods with function approximation is poorly understood, both theoretically and empirically. In this work, we aim to experimentally investigate potential issues in Q-learning, by means of a "unit testing" framework where we can utilize oracles to disentangle sources of error. Specifically, we investigate questions related to function approximation, sampling error and nonstationarity, and where available, verify if trends found in oracle settings hold true with modern deep RL methods. We find that large neural network architectures have many benefits with regards to learning stability; offer several practical compensations for overfitting; and develop a novel sampling method based on explicitly compensating for function approximation error that yields fair improvement on high-dimensional continuous control domains.

研究の動機と目的

• Q学習における関数近似が収束性と最適性の劣化にどう影響するかを調査する。
• Q学習の性能に対するサンプリング誤差と過適合の影響を定量化する。
• 移動ターゲットと分布のシフトに起因する非定常性を検討し、それらが学習の安定性とどのように関連するかを調べる。
• 学習効率と安定性を向上させるためのサンプリング分布と重み付けスキームを検討する。

提案手法

• Exact-FQI、Sampling-FQI、Replay-FQI を、次第に現実的になる Q-learning のバリアントとして紹介する。
• オラクルダイナミクスと報酬を用いたユニットテストフレームワークを用いて誤差源を分離する。
• オラクルQ値を持つタブラー領域と高次元の連続制御タスクの両方で評価する。
• 制御された条件下で収束、射影バイアス、分布シフトを測定する。
• いくつかの重み付け分布（例：Unif、オンポリシー、Replay）を試験し、対立的特徴マッチング（AFM）を提案する。
• リプレイバッファの有無およびオラクル様の早期停止と比較する。

実験結果

リサーチクエスチョン

• RQ1 関数近似力がQ学習の収束性とバイアスにどのように影響するか？
• RQ2 サンプリング誤差と過適合がQ学習フレームワークの性能に及ぼす実証的影響は何か？
• RQ3 移動ターゲットと分布シフトは実践で因果的に不安定性を生み出すのか？
• RQ4 どのサンプリング/重み付け分布が学習速度と最終性能を最大化するのか？
• RQ5 対立的特徴マッチングのような新規サンプリング手法は高次元Q学習を改善できるのか？

主な発見

• 関数近似誤差は高容量の関数近似器では大きな問題にはならず、発散はまれである（彼らの実験では0.9%）。
• 限られたサンプルによる過適合が性能を低下させ、リプレイバッファはカバー範囲を改善してそれを緩和する。
• 大規模なニューラルネットワークは過適合リスクにもかかわらず学習の安定性と最終性能を改善する。
• サンプリング手法の中では、高エントロピーで広い分布が性能を向上させる；オンポリシーが必ずしも最良とは限らない；リプレイバッファは分布シフトを低減する。
• 対立的特徴マッチング（AFM）は実用的で高エントロピーなサンプリング手法を提供し、関数近似誤差を補償し、研究で報告された改善と一致する。