[論文レビュー] Fast deep reinforcement learning using online adjustments from the past

Steven Hansen, Pablo Sprechmann+3 more|arXiv (Cornell University)|Oct 18, 2018

Reinforcement Learning in Robotics被引用数 18

ひとこと要約

本論文では、Ephemeral Value Adjustments (EVA) を提案する。EVA は、replay buffer 内の最近の経験に基づくメモリベースの計画を用いて、深層強化学習エージェントが価値関数の予測を迅速に適応可能にする手法である。エピソードメモリの取得とオンライン価値調整を組み合わせることで、根本的な DQN アーキテクチャ やハイパーパramータ を変更せずに、Atari ゲームにおける学習速度と最終的なパフォーマンスを向上させ、4000万フレームでベースライン性能に到達する。

ABSTRACT

We propose Ephemeral Value Adjusments (EVA): a means of allowing deep reinforcement learning agents to rapidly adapt to experience in their replay buffer. EVA shifts the value predicted by a neural network with an estimate of the value function found by planning over experience tuples from the replay buffer near the current state. EVA combines a number of recent ideas around combining episodic memory-like structures into reinforcement learning agents: slot-based storage, content-based retrieval, and memory-based planning. We show that EVAis performant on a demonstration task and Atari games.

研究の動機と目的

• replay buffer 内の高報酬経験への深層強化学習エージェントの適応が遅い問題に対処すること。
• 主な学習アルゴリズムを変更せずに、過去の経験を用いた迅速かつ局所的な価値関数の調整を可能にすることで、サンプル効率を向上させること。
• 神経科学における補完的学習システムにインspiredされた、高速なエピソード制御と遅い一般化モデルフリー学習を組み合わせること。
• 一時的で永続的でない価値調整が、学習の加速を著しくもたらすが、同時に安定性を維持できることを示すこと。

提案手法

• EVA は、時間的に近接した経験タプルに対するメモリベースの計画を可能にするために、replay buffer 内に軌道のポインタと隠れ活性化を保存する。
• パラメトリックな類似度測定を用いて、関連する過去の経験を取得し、価値関数の改善を推定することで、オンライン計画を実行する。
• トレースに基づく価値調整を計算し、トレース上でのアクション評価と反事後的アクション評価を組み合わせることで、価値推定の正確性を向上させる。
• 調整は一時的である—意思決定時にのみ適用され、保存されないため、主な価値関数更新の安定性が保たれる。
• 標準的な DQN に統合するために、推論時に深層ネットワーク出力とエピソードプランの重み付き組み合わせを用いて価値予測を修正する。
• アプローチは、エピソード調整の寄与度を調整するハイパーパramータ λ を使用する。

実験結果

リサーチクエスチョン

• RQ1 エピソードメモリベースの計画は、コアなトレーニング手順を変更せずに、深層強化学習エージェントのサンプル効率を向上させることができるか？
• RQ2 勾配ベースの更新と比較して、オンラインで一時的な価値調整は、学習速度と最終パフォーマンスにおいてどのように異なるか？
• RQ3 エピソード計画プロセスに反事後的アクション評価を組み込むと、方策の安定性とパフォーマンスにどのような影響を与えるか？
• RQ4 メモリベースの計画は、replay buffer 内のデータ分布を改善し、間接的に主な価値関数を向上させるか？
• RQ5 調整の一時的性質は、ネガティブフィードバックループを防ぎ、トレーニングの安定性を維持できるか？

主な発見

• EVA は、標準的な DQN と比較して、Atari ゲームにおける学習速度と最終パフォーマンスを向上させ、4000万フレームでベースライン性能に到達する。
• 反事後的アクション評価を省いた n ステップトレース計算のアブレーションでは、顕著なパフォーマンス低下と不安定性が生じ、このコンponent の重要性を示している。
• パラメトリック類似度を用いた標準的なトレース計算は、より計算コストの高い KBRL 法よりも優れているため、単純なエピソード計画が十分に効果的で、より安定であることが示唆される。
• λ=0.4 で EVA を使用した場合、複数のゲームで標準 DQN (λ=0) よりも高い人間正規化スコアを達成し、パフォーマンスの分散も低くなる。
• λ を200万ステップにわたりゼロに段階的に下げても、パフォーマンスに劣化が生じないため、パrametricモデルがエピソード知識を統合できることが確認され、EVA に継続的に依存する必要がない。