[論文レビュー] Prioritizing Samples in Reinforcement Learning with Reducible Loss

Shivakanth Sujit, Somjit Nath+2 more|arXiv (Cornell University)|Aug 22, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

この論文は、深層強化学習における経験リプレイのための新しい優先順位付け手法であるReducible Loss (ReLo)を提案する。ReLoは、単に高い損失を持つサンプルを優先するのではなく、損失の低減可能性に基づいてサンプルを選択する。オンラインネットワークとターゲットネットワークの予測の差を測定することで、学習可能な遷移を特定し、TD誤差を低減し、DM Control Suite や Atari などの環境で、均一サンプリングや優先経験リプレイ (PER) よりも優れた性能を発揮する。

ABSTRACT

Most reinforcement learning algorithms take advantage of an experience replay buffer to repeatedly train on samples the agent has observed in the past. Not all samples carry the same amount of significance and simply assigning equal importance to each of the samples is a naïve strategy. In this paper, we propose a method to prioritize samples based on how much we can learn from a sample. We define the learn-ability of a sample as the steady decrease of the training loss associated with this sample over time. We develop an algorithm to prioritize samples with high learn-ability, while assigning lower priority to those that are hard-to-learn, typically caused by noise or stochasticity. We empirically show that our method is more robust than random sampling and also better than just prioritizing with respect to the training loss, i.e. the temporal difference loss, which is used in prioritized experience replay.

研究の動機と目的

• 均一サンプリングや損失ベースのサンプリングの非効率性を是正し、経験リプレイにおいて学習の可能性が最も高いサンプルを特定すること。
• 優先経験リプレイ (PER) の限界を克服すること。PERは高損失のサンプルを優先するが、ノイズや確率的要因のため学習が困難な場合がある。
• 学習可能性（すなわち、時間経過による訓練損失の低減可能性）に基づいて、シンプルで計算コストの低いサンプル優先順位付け手法を開発すること。
• 還元可能な損失に基づく優先順位付けが、多様なRLベンチマークでより強固で効率的な学習を実現することを実証すること。
• PERの代替手段として理論的裏付けと実証的検証を備えた手法を提供し、一般化性能を向上させ、検証用TD誤差を低減すること。

提案手法

• 与えられた遷移について、オンラインQネットワークの損失とターゲットネットワークの損失の差を還元可能な損失（ReLo）として定義し、損失低減の可能性を捉える。
• オフポリシーQ学習アルゴリズムにおけるターゲットネットワークを、追加の学習を必要とせず、ホールドアウトモデルの代理として用いる。
• 損失を有意義に低減できる可能性があるとされる、ReLo値の高い遷移を、リプレイバッファのサンプリングで優先する。
• DQN や SAC などの既存のオフポリシーRLアルゴリズムに、最小限のコード変更でReLoを統合し、1サンプルあたり1回の追加フォワードパスで実現する。
• 追加のモデルパラメータや複雑な最適化を避けることで、計算効率を維持する。既存のコンponents（例：ターゲットネットワーク）を再利用する。
• PERと併用または置き換えとしてReLoを適用し、学習ダイナミクスに著しい変化をもたらさずに、標準的なトレーニングパイプラインに柔軟に統合可能である。

実験結果

リサーチクエスチョン

• RQ1 学習可能性（還元可能な損失で測定）に基づいてサンプルを優先することで、深層RLにおける学習がより速く安定するか？
• RQ2 多様な環境において、ReLoは均一サンプリングやPERと比較して、トレーニング中の時系列誤差（TD誤差）をどのように低減するか？
• RQ3 ReLoによって達成される低い検証用TD誤差は、より良いサンプル効率と最終的なエージェント性能と相関するか？
• RQ4 ReLoは、計算コストの増加を最小限に抑えながら、既存のオフポリシーRLアルゴリズムに統合可能か？
• RQ5 ノイズや確率的要因による高損失サンプルの繰り返しサンプリングといったPERの欠陥をReLoは回避できるか？

主な発見

• ReLoは、環境にかかわらずトレーニング中のTD誤差を一貫して低減し、DM Control Suite や Atari ベンチマークにおいて、均一サンプリングやPERと比較して最小の損失を記録した。
• DM Control Suiteでは、CheetahRunで検証用TD誤差が0.12 ± 0.033にまで低下し、PERの0.03 ± 0.003よりも顕著に低い水準に達した。これは、一般化性能と学習効率の向上を示している。
• QuadrupedRunでは、検証用TD誤差がReLoで0.35 ± 0.067にまで低下したのに対し、PERは2.24 ± 0.127にとどまり、複雑な運動制御タスクにおいて優れた性能を示した。
• Atariでは、ReLoはRainbowベースラインと同等またはわずかに向上し、JamesbondでTD誤差1.142 ± 0.174を記録した。これはRainbowの1.653 ± 0.819よりも優れていることを示し、離散制御タスクにおける頑健性を裏付けた。
• 低い検証用TD誤差と高いサンプル効率との相関関係が確認され、ReLoが学習可能性の代理としての有効性を示した。
• ReLoはターゲットネットワークを1回の追加フォワードパスで利用するのみで、計算コストは無視できるほど低く、実世界のRLデプロイメントにおいて実用的である。