[論文レビュー] Continual Reinforcement Learning with Multi-Timescale Replay

Christos Kaplanis, Claudia Clopath+1 more|arXiv (Cornell University)|Apr 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 9

ひとこと要約

本稿では、複数の時間スケールにわたる経験を維持することで、古い知識の保持と新しいデータへの適応のバランスを向上させることで、継続的強化学習を改善するマルチタイムスケールリプレイ（MTR）バッファを提案する。MTRフレームワークは、特に不変リスク最小化（IRM）と組み合わせた場合、分布シフトの時間スケールが未知で変動する非定常環境において、ベースラインを上回る性能を発揮する。特に重力が変動するHalfCheetahでは顕著な改善が得られた。

ABSTRACT

In this paper, we propose a multi-timescale replay (MTR) buffer for improving continual learning in RL agents faced with environments that are changing continuously over time at timescales that are unknown to the agent. The basic MTR buffer comprises a cascade of sub-buffers that accumulate experiences at different timescales, enabling the agent to improve the trade-off between adaptation to new data and retention of old knowledge. We also combine the MTR framework with invariant risk minimization, with the idea of encouraging the agent to learn a policy that is robust across the various environments it encounters over time. The MTR methods are evaluated in three different continual learning settings on two continuous control tasks and, in many cases, show improvement over the baselines.

研究の動機と目的

• 分布シフトの時間スケールが未知である非定常環境で動作する深層強化学習エージェントにおける、深刻な記憶の消失（catastrophic forgetting）を緩和すること。
• 複数の時間スケールにわたる経験を維持するリプレイバッファを設計し、新しいデータへの適応と古い知識の保持のバランスを取ること。
• MTRと不変リスク最小化（IRM）を統合し、時間変動する環境で一般化可能なポリシーを学習すること。
• タスク境界が存在しない、または検出不能な継続的学習設定においてMTRフレームワークを評価し、現実世界の展開要件に整合させること。

提案手法

• 異なる時間スケールで経験を蓄積するサブバッファの段階的構造を設計し、さまざまな時間範囲にわたる経験を保存する。
• コイントスに従う確率的メモリ転送メカニズムを実装し、経験を1つのサブバッファから次のものへ移動させることで、徐々に忘却を模倣する。
• 記憶保持確率にべき乗則の減衰を適用し、1/tの減衰に近似することで、時間経過に伴う記憶強度の心理的証拠をモデル化する。
• MTRバッファと不変リスク最小化（IRM）を組み合わせ、時間の経過とともに遭遇する異なる環境分布に対して一般化可能なポリシーを促進する。
• MTRバッファからの経験リプレイを用いてエージェントを訓練し、すべてのサブバッファから経験をサンプリングすることで、古いデータと新しいデータのバランスの取れた分布を維持する。
• MTRフレームワークを、重力の変動するような時間変動する力学的特性を有する環境を含む、3つの継続的学習設定において、連続制御タスク（HalfCheetahとAnt）に適用する。

実験結果

リサーチクエスチョン

• RQ1 未知で変動する分布シフトが生じる環境において、マルチタイムスケールリプレイバッファは継続的強化学習の性能向上に寄与するか？
• RQ2 MTRバッファは、単一または二重の時間スケールリプレイ手法と比較して、保持と適応のバランスをどのように改善するか？
• RQ3 MTRと不変リスク最小化（IRM）を組み合わせることで、非定常環境におけるより頑健なポリシーが得られるか？
• RQ4 MTR手法は、サブバッファ数やメモリ転送確率といったハイパーパrameterにどれほど感度を示すか？
• RQ5 どのような環境において、MTR-IRMの組み合わせが最も顕著な性能向上をもたらすか？

主な発見

• 基本的なMTRエージェントは、HalfCheetahおよびAntタスクの全継続的学習設定において、最も一貫した性能を示した。
• HalfCheetahタスクのより非定常な設定の2つにおいて、MTR-IRMエージェントが最良の性能を達成した。特に重力が変動する条件下で顕著な改善が得られた。
• Antタスクでは、MTR-IRMエージェントが他の手法よりも性能を発揮しなかった。これは、IRMの有効性がタスク固有のダイナミクスや環境シフトの特性に依存する可能性を示唆している。
• MTRバッファの記憶保持確率は1/tの減衰に近似しており、記憶の忘却に関する心理的モデルと整合している。
• 本手法は、データ分布の変化が予測不能かつ多様な時間スケールで発生する環境において、深刻な記憶の消失を効果的に緩和する。
• MTRの性能は、ハイパーパrameter β_mtr（メモリ転送確率）と n_b（サブバッファ数）に感受性を示しており、慎重なチューニングが求められる。