[論文レビュー] The Primacy Bias in Deep Reinforcement Learning

Evgenii Nikishin, Max Schwarzer+3 more|arXiv (Cornell University)|May 16, 2022

Reinforcement Learning in Robotics被引用数 14

ひとこと要約

この論文は、深層強化学習におけるプライマシー・バイアスを特定し、初期の経験に過剰適合し、後に得られる可能性の高い良いデータを無視する現象を明らかにした。本研究では、リプレイバッファを保持したままエージェントのニューラルネットワークの最後の層を定期的にリセットするという、シンプルで汎用性の高い解決策を提案している。計算コストの増加なしに、離散的（Atari 100k）および連続的制御（DeepMind Control Suite）のベンチマークで一貫した性能向上を示した。

ABSTRACT

This work identifies a common flaw of deep reinforcement learning (RL) algorithms: a tendency to rely on early interactions and ignore useful evidence encountered later. Because of training on progressively growing datasets, deep RL agents incur a risk of overfitting to earlier experiences, negatively affecting the rest of the learning process. Inspired by cognitive science, we refer to this effect as the primacy bias. Through a series of experiments, we dissect the algorithmic aspects of deep RL that exacerbate this bias. We then propose a simple yet generally-applicable mechanism that tackles the primacy bias by periodically resetting a part of the agent. We apply this mechanism to algorithms in both discrete (Atari 100k) and continuous action (DeepMind Control Suite) domains, consistently improving their performance.

研究の動機と目的

• 深層強化学習にプライマシー・バイアスが存在することを特定し、実験的にその存在を示すこと。このバイアスとは、エージェントが初期の経験に過剰適合し、後に得られるより良いデータを活用できない現象を指す。
• 標準的な深層強化学習の要素、特に高いリプレイレシオと経験リプレイが、初期の相互作用を強化することでこのバイアスを悪化させることを分析すること。
• エージェントのニューラルネットワークの一部を定期的にリセットすることでプライマシー・バイアスを軽減する、最小限で汎用的なメカニズムを提案すること。
• 提案されたリセット機構により、通常は過剰適合を引き起こすため安定性に欠けるが、高いリプレイレシオや長いnステップリターンを用いた学習が可能になることを示すこと。
• 異なる環境やアルゴリズムにおいて、離散的および連続的制御の両設定で一貫した性能向上を実証することで、手法の有効性を検証すること。

提案手法

• この手法は、エージェントのニューラルネットワークの最後の層を定期的に再初期化するもので、リプレイバッファはそのままである。これにより、最近に学習した表現のみを忘れることになる。
• リセットは訓練中のある固定間隔で実施され、リプレイバッファの内容やネットワークの残りの部分に変更は加えない。
• 任意のリプレイバッファを用いる深層強化学習アルゴリズムと互換性があり、必要なハイパーパrameterは2つだけである：リセット対象のネットワーク層とリセットの頻度。
• このメカニズムにより、エージェントは初期データへの過剰適合から回復し、より最近で質の高い経験から再学習できるようになる。
• 計算コストは最小限で、標準的な訓練ループに追加のコストをかけない。
• このアプローチは認知科学にインspiredされており、初期の不適切な解決策を忘れることが、長期的な学習を促進することがある。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、初期の経験が学習に大きく影響し、性能の向上を妨げるプライマシー・バイアスを示すのか？
• RQ2 経験リプレイや高いリプレイレシオといった標準的な深層強化学習の要素が、なぜプライマシー・バイアスを悪化させるのか？
• RQ3 計算コストの増加なしに、シンプルで汎用的なリセット機構がプライマシー・バイアスを軽減できるのか？
• RQ4 リセット機構により、通常は過剰適合のため不安定になるが、高いリプレイレシオや長いnステップリターンを用いた学習が可能になるのか？
• RQ5 リセット機構は、離散的および連続的制御の両設定において、多様な環境やアルゴリズムで一貫して性能を向上させることができるのか？

主な発見

• プライマシー・バイアスは深層強化学習に存在する：標準的なアルゴリズムで訓練されたエージェントは初期の経験に過剰適合し、後に良いデータを得ても性能向上が見られない。
• 経騴リプレイと高いリプレイレシオは、初期で得られた可能なかぎりの劣化したデータを繰り返し露出することで、プライマシー・バイアスを顕著に悪化させる。
• 提案されたリセット機構は、複数のアルゴリズムを用いて、Atari 100kおよびDeepMind Control Suiteベンチマークで一貫した性能向上を達成した。
• この手法により、通常は過剰適合を引き起こすため、ベースラインエージェントでは実現不可能な高いリプレイレシオや長いnステップリターンを用いた学習が可能になった。
• 追加の計算コストなしに性能向上が達成されたため、この手法は非常に実用的で広範に適用可能である。
• 初期の不適切な解決策を忘れることが、長期的な学習にとって有益であるという結果は、認知科学や人間の学習における知見とも一致している。