[論文レビュー] A Deeper Look at Experience Replay

Shangtong Zhang, Richard S. Sutton|arXiv (Cornell University)|Dec 4, 2017

Reinforcement Learning in Robotics参考文献 12被引用数 185

ひとこと要約

この論文はリプレイバッファサイズが tabular、線形、非線形の関数近似器を用いた学習にどう影響するかを系統的に分析し、大きなバッファが性能を損なうことがあり、これを緩和する簡易な O(1) CER対策を導入する。

ABSTRACT

Recently experience replay is widely used in various deep reinforcement learning (RL) algorithms, in this paper we rethink the utility of experience replay. It introduces a new hyper-parameter, the memory buffer size, which needs carefully tuning. However unfortunately the importance of this new hyper-parameter has been underestimated in the community for a long time. In this paper we did a systematic empirical study of experience replay under various function representations. We showcase that a large replay buffer can significantly hurt the performance. Moreover, we propose a simple O(1) method to remedy the negative influence of a large replay buffer. We showcase its utility in both simple grid world and challenging domains like Atari games.

研究の動機と目的

• 再生バッファサイズが異なる関数表現（表形式、線形、非線形）下での学習への影響を評価する。
• 大きなリプレイバッファが性能を低下させる条件を特定する。
• 追加の計算負荷なしで大きなリプレイバッファの負の影響を緩和する低コスト手法を提案する。
• CERを簡単なドメインと難しいドメイン（グリッドワールド、Lunar Lander、Atari Pong）で評価する。

提案手法

• 3つのタスクでOnline-Q、Buffer-Q、Combined-Q（CER）を比較する。
• CERが各トレーニングバッチに最新の遷移を追加することで、リプレイバッファからの一様サンプリングを使用する。
• さまざまなリプレイバッファサイズ（例：10^2 〜 10^6）と固定ミニバッチサイズで評価。
• 適切なオプティマイザを用いて、表形式、タイルコード線形、ニューラルネットワークの関数近似器を適用。
• 非線形設定では、安定性のためDQNと同様にターゲットネットワークを採用。
• タイムアウトと部分エピソードブートストラップを用いてタイムアウトバイアスを減らす。

実験結果

リサーチクエスチョン

• RQ1 リプレイバッファのサイズは、学習の速度と最終的な性能を、異なる関数表現でどう影響するか？
• RQ2 単純で一定時間の変更（CER）が、大きなリプレイバッファの負の影響を減らせるか？
• RQ3 CERの利点は、グリッドワールド、Lunar Lander、Pongのタスクで、さまざまな関数近似器と共に持続するか？

主な発見

• 大きなリプレイバッファは、表形式および線形設定で学習を遅らせるか、性能を低下させることがある。
• CERはリプレイバッファサイズへの感度を減らし、大規模バッファ領域での学習速度を回復させ得る。
• 非線形の関数近似では、CERは大きなバッファで学習を速め、最近の遷移への過剰適合を減らす。
• いくつかのタスク（Pong）では、CERの改善は限定的であり、タスクの難易度と表現がCERの恩恵に影響する。
• ドメインを跨いで、中程度のバッファはCERなしより大きなバッファより良い場合がある。
• CERはO(1)の追加計算しか必要とせず、単純なプラグイン改善として機能する。