[論文レビュー] Finetuning from Offline Reinforcement Learning: Challenges, Trade-offs and Practical Solutions

Yicheng Luo, Jackie Kay+2 more|arXiv (Cornell University)|Mar 30, 2023

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

この論文は、オンラインの非対称学習アルゴリズムを用いて事前学習済みのオフライン強化学習（RL）ポリシーを微調整する際の課題を調査し、初期のオンライン学習段階で著しく性能が低下する『ポリシークラッシュ』——という主要な課題を特定している。本研究では、過大評価誤差を軽減することで微調整を安定化させる制約付きポリシー最適化手法、Conservative TD3（TD3-C）を提案し、標準的なオフラインRLの微調整に比べてより速く、より信頼性の高い性能向上を達成している。

ABSTRACT

Offline reinforcement learning (RL) allows for the training of competent agents from offline datasets without any interaction with the environment. Online finetuning of such offline models can further improve performance. But how should we ideally finetune agents obtained from offline RL training? While offline RL algorithms can in principle be used for finetuning, in practice, their online performance improves slowly. In contrast, we show that it is possible to use standard online off-policy algorithms for faster improvement. However, we find this approach may suffer from policy collapse, where the policy undergoes severe performance deterioration during initial online learning. We investigate the issue of policy collapse and how it relates to data diversity, algorithm choices and online replay distribution. Based on these insights, we propose a conservative policy optimization procedure that can achieve stable and sample-efficient online learning from offline pretraining.

研究の動機と目的

• オンラインRLアルゴリズムを用いたオフラインRLポリシーの微調整における課題とトレードオフを調査すること。
• 特にデータ分布とアルゴリズム的選択に起因する、オンライン微調整中のポリシークラッシュの根本的要因を特定すること。
• 標準的なオフラインRL微調整手法を上回る、実用的で安定的かつデータ効率の良いオンライン微調整手法を提案すること。
• データの多様性とアルゴリズム的制約に重点を置いた、効果的なオフライン事前学習からの微調整のための実証的ガイドラインを提供すること。

提案手法

• TD3-Cは、オンライン微調整中の価値関数学習における過大評価を防ぐために、保守的な正則化項を組み込んだTD3の変種である。
• オフライン遷移で初期化され、オンライン経験で更新されるハイブリッドリプレイバッファを用いて、分布シフトとデータ効率の両立を図っている。
• オフライン事前学習済みポリシーからの逸脱を制限する制約付きポリシー更新を採用し、初期のオンライン学習段階における不安定性を低減している。
• 標準的なオフラインおよびオンラインRLベンチマークで本手法を評価し、標準TD3、TD3-BC、およびオフラインRL微調整ベースラインと比較している。
• オンラインリプレイの分布とデータ多様性がポリシークラッシュに与える影響を分析し、固定で非適応的なリプレイが不安定性を悪化させることを示している。
• アルゴリズム選択、リプレイ戦略、事前学習データの質が微調整性能に与える影響を分離するための体系的なアブレーションスタディを導入している。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的な非対称学習RLアルゴリズム（例：TD3）を用いたオンライン微調整では、最終的な性能は向上するものの、深刻な性能低下（ポリシークラッシュ）が生じるのか？
• RQ2 オフラインデータセット内のデータの多様性と分布は、オンライン微調整の安定性と効率にどのように影響を与えるのか？
• RQ3 保守的ポリシー最適化は、オフライン事前学習からのオンライン微調整における安定性を向上させることができるのか？また、オフラインRLに特化した制約と比較してどうなるのか？
• RQ4 オフラインRLからの微調整における安定性と性能向上の主なトレードオフは何か？また、評価プロトコルは観察される結果にどのように影響を与えるのか？

主な発見

• 標準的なオンライン非対称学習アルゴリズム（例：TD3）を用いた微調整は、オフラインRLアルゴリズムを用いた微調整よりも性能向上が速いが、固定の初期リプレイ分布における過大評価誤差によりポリシークラッシュを引き起こすリスクがある。
• オンラインリプレイバッファがオフラインデータで初期化され、初期学習段階で変更されない場合、フィードバック信号が悪化し最適化の不安定性が増すため、ポリシークラッシュが悪化する。
• 提案されたConservative TD3（TD3-C）手法は、過大評価を低減する保守的正則化項を適用することで、クラッシュを伴わない一貫した性能向上を実現し、オンライン微調整を安定化させている。
• 劣化した遷移を含む多様なオフラインデータセットでの事前学習により、ポリシーとクライムの両方がより頑健になり、より安定的かつ効果的なオンライン微調整が可能になる。
• 少数のオンラインサンプルのみを用いた評価プロトコルは、安定的ではあるが効率が悪いアルゴリズムを好む傾向があり、微調整における安定性と性能向上の間の重要なトレードオフを浮き彫りにしている。
• オンライン非対称学習アルゴリズムを微調整に使用し、オンラインリプレイバッファをオフラインデータで初期化するといった単純な修正が、より複雑なアルゴリズム的改善と同等の性能向上をもたらす可能性があるため、今後の研究においてはこれらをベースラインとして用いるべきである。