[論文レビュー] How to Fine-tune the Model: Unified Model Shift and Model Bias Policy Optimization

Hai Zhang, Hang Yu+6 more|arXiv (Cornell University)|Sep 22, 2023

Reinforcement Learning in RoboticsComputer Science被引用数 3

ひとこと要約

本稿では、モデルベース強化学習の微調整中にモデルシフトとモデルバイアスを同時に最小化する統合的ポリシー最適化フレームワークであるUSB-POを提案する。理論的裏付けのある目的関数を導出し、これら2つの要因を適応的にバランスさせることで、過学習を防ぎつつ性能向上の保証を得られる。この手法により、困難なベンチマークで最先端の結果が達成された。

ABSTRACT

Designing and deriving effective model-based reinforcement learning (MBRL) algorithms with a performance improvement guarantee is challenging, mainly attributed to the high coupling between model learning and policy optimization. Many prior methods that rely on return discrepancy to guide model learning ignore the impacts of model shift, which can lead to performance deterioration due to excessive model updates. Other methods use performance difference bound to explicitly consider model shift. However, these methods rely on a fixed threshold to constrain model shift, resulting in a heavy dependence on the threshold and a lack of adaptability during the training process. In this paper, we theoretically derive an optimization objective that can unify model shift and model bias and then formulate a fine-tuning process. This process adaptively adjusts the model updates to get a performance improvement guarantee while avoiding model overfitting. Based on these, we develop a straightforward algorithm USB-PO (Unified model Shift and model Bias Policy Optimization). Empirical results show that USB-PO achieves state-of-the-art performance on several challenging benchmark tasks.

研究の動機と目的

• モデルベース強化学習（MBRL）におけるモデル学習とポリシー最適化の間の高い結合性の課題に対処すること。
• 固定しきい値によるモデルシフトの制約に依存する従来手法の限界を克服し、訓練中に柔軟性を維持すること。
• モデルシフトとモデルバイアスの取り扱いを、理論的裏付けのある単一の最適化目的関数に統合すること。
• 性能向上を保証すると同時に過学習を回避するように、動的にモデル更新を調整する微調整プロセスを開発すること。
• 原理的かつ適応的なアルゴリズムにより、困難なMBRLベンチマークで最先端の性能を達成すること。

提案手法

• 著者らは、モデルシフトとモデルバイアスの両方を同時に考慮する統合的最適化目的関数を導出し、併せて最小化を可能にする。
• 本手法は、固定しきい値に依存しないように、モデルシフトを明示的に組み込んだ性能差の上限を導入する。
• バイアスとシフトのトレードオフに基づいて、動的にモデル更新を調整する微調整プロセスを定式化する。
• 理論的性能保証を確保するように、統合的目的関数を統合したポリシー最適化フレームワークを採用する。
• 得られたアルゴリズム、USB-PO（統合的モデルシフトとモデルバイアスポリシー最適化）は、実装が簡単で、既存のMBRLパイプラインにスムーズに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 モデルベース強化学習において、モデルシフトとモデルバイアスをどのように統合的に最適化すれば、性能向上を保証できるか？
• RQ2 固定しきい値によるモデルシフト制約の代替として、理論的裏付けのある適応的アプローチは何か？
• RQ3 モデルシフトとバイアスをバランスさせる統合的目的関数は、MBRLにおける一般化性能とロバストネスの向上に寄与するか？
• RQ4 提案手法は、困難な環境におけるサンプル効率と最終的な性能の面で、既存のMBRLアルゴリズムと比べてどのように差をつけるか？
• RQ5 適応的モデル更新スケジューリングは、過学習の防止とポリシー性能の維持にどのような影響を及けるか？

主な発見

• USB-POは、いくつかの困難なモデルベース強化学習ベンチマークで最先端の性能を達成し、従来手法を上回った。
• 訓練中にモデルシフトとモデルバイアスを適応的にバランスさせることで、性能向上の保証を実現した。
• 固定しきい値を避けることで、USB-POは多様な訓練環境においてより高い柔軟性とロバストネスを示した。
• 実験結果から、統合的目的関数が過学習を効果的に防止し、安定したポリシー学習を維持できることを示した。
• 類似した設計原理を持つ既存のMBRLアルゴリズムと比較して、優れたサンプル効率と最終的なポリシー性能を達成した。