[論文レビュー] MUSBO: Model-based Uncertainty Regularized and Sample Efficient Batch Optimization for Deployment Constrained Reinforcement Learning

DiJia Su, Jason D. Lee+2 more|arXiv (Cornell University)|Feb 23, 2021

Reinforcement Learning in Robotics参考文献 33被引用数 6

ひとこと要約

MUSBOは、不確実性正則化された方策更新と能動的データ収集を組み合わせることで、展開制約付き強化学習におけるサンプル効率を向上させるモデルベースの強化学習フレームワークである。不確実性に配慮したブートストラップにより、低サポートで高不確実性の領域での更新を軽減し、新規で高品質な遷移を優先することで、より少ない展開回数とデータ量で最先端の性能を達成する。

ABSTRACT

In many contemporary applications such as healthcare, finance, robotics, and recommendation systems, continuous deployment of new policies for data collection and online learning is either cost ineffective or impractical. We consider a setting that lies between pure offline reinforcement learning (RL) and pure online RL called deployment constrained RL in which the number of policy deployments for data sampling is limited. To solve this challenging task, we propose a new algorithmic learning framework called Model-based Uncertainty regularized and Sample Efficient Batch Optimization (MUSBO). Our framework discovers novel and high quality samples for each deployment to enable efficient data collection. During each offline training session, we bootstrap the policy update by quantifying the amount of uncertainty within our collected data. In the high support region (low uncertainty), we encourage our policy by taking an aggressive update. In the low support region (high uncertainty) when the policy bootstraps into the out-of-distribution region, we downweight it by our estimated uncertainty quantification. Experimental results show that MUSBO achieves state-of-the-art performance in the deployment constrained RL setting.

研究の動機と目的

• 医療、金融、ロボット工学など、オンライン相互作用が高コストまたは危険な実世界の強化学習応用における、方策の展開回数が限られるという課題に対処すること。
• 純粋なオフライン強化学習とオンライン強化学習の間のギャップを埋め、制限された環境相互作用のもとで効率的で反復的な方策改善を可能にすること。
• バッチ処理で行われるが頻度が低いデータ収集環境における、サンプル効率と方策性能の向上を図ること。
• 各展開において、新規で高品質な遷移を能動的に発見するフレームワークを開発し、モデルの精度と方策学習を向上させること。
• モデルが生成するロールアウトにおける不確実性評価に基づいて方策更新を重み付けすることにより、分布シフトと外挿誤差を低減すること。

提案手法

• MUSBOは、オフライン学習中に学習された環境モデルを用いて架空のロールアウトを生成し、これを方策更新に使用する。
• 不確実性正則化係数を適用して方策更新を重み付けし、低サポート（高不確実性）領域での影響を低減し、高サポート（低不確実性）領域での影響を増加させる。
• データ収集方針は、新しいバッチと以前に収集されたデータとの間のコサイン距離を最大化することで、未探索の状態・行動領域のカバーを確保するように最適化される。
• フレームワークは展開とオフライン学習を交互に実行する：各展開で新たなデータバッチが収集され、それが動的モデルの精緻化と方策性能の向上に使用される。
• 不確実性係数はモデルの予測分散から導出され、分布外領域での懸念的な更新を可能にし、不安定化を防ぐ。
• 不確実性正則化と能動的データ収集戦略を組み合わせており、アブレーションスタディにより、両者の性能向上およびモデル精度に及ぼす補完的効果が示された。

実験結果

リサーチクエスチョン

• RQ1 不確実性正則化された方策更新は、展開制約付き強化学習におけるサンプル効率とロバストネスを向上させるか？
• RQ2 新規遷移を優先する能動的データ収集は、収束速度の向上とより良い方策性能をもたらすか？
• RQ3 不確実性正則化とデータ収集戦略は、バッチ最適化強化学習において、個別および併合的にモデル精度と累積報酬にどのような影響を及ぼすか？
• RQ4 MUSBOは、BREMEN や MOPO といった既存の展開制約付き強化学習ベースラインを、データ効率および最終的性能において上回ることができるか？
• RQ5 不確実性に配慮したブートストラップは、モデルベース強化学習における分布シフトと外挿誤差をどの程度低減できるか？

主な発見

• Cheetah-Run環境では、MUSBOはわずか2回の展開で累積報酬550を達成したが、ベースラインは同じスコアに到達するまでに4〜5回の展開を要した。
• Walker2DおよびHopper環境（合計データ量250k）において、MUSBOは特に後続の展開において顕著な性能差を示し、より速い学習と優れたサンプル効率を示した。
• アブレーションスタディでは、不確実性係数がデータ収集戦略単体よりも累積報酬に強い影響を与えたが、後者はモデルダイナミクスの改善により顕著に寄与した。
• 不確実性正則化と能動的データ収集の組み合わせが、モデル精度（エネルギー距離とMSEで測定）および最終的方策リターンの両面で最良のパフォーマンスを達成した。
• MUSBOは、ランダムまたはベースライン方針よりも、各展開あたり顕著に多くの新規遷移を発見した（過去のデータバッチとの平均コサイン距離で測定）。
• データサイズを縮小（250k vs. 500k）しても、MUSBOは強固で効率的な性能を維持した。これは、データ制約下でも高い耐性と効率性を示している。