[論文レビュー] Revisiting Design Choices in Offline Model-Based Reinforcement Learning

Cong Lu, Philip Ball+3 more|arXiv (Cornell University)|Oct 8, 2021

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

この論文は、オフラインモデルベース強化学習におけるコアな設計選択、特に不確実性推定とハイパーパrameterチューニングを再評価する。新しい評価プロトコルを導入し、ベイズ最適化を用いることで、MuJoCoおよびAdroitベンチマークにおいて、MOPO や COMBO といった最先端手法を著しく上回る優れたハイパーパrameter設定を同定した。不確実性推定の向上と体系的なハイパーパrameter選択により、最大43%の性能向上を達成した。

ABSTRACT

Offline reinforcement learning enables agents to leverage large pre-collected datasets of environment transitions to learn control policies, circumventing the need for potentially expensive or unsafe online data collection. Significant progress has been made recently in offline model-based reinforcement learning, approaches which leverage a learned dynamics model. This typically involves constructing a probabilistic model, and using the model uncertainty to penalize rewards where there is insufficient data, solving for a pessimistic MDP that lower bounds the true MDP. Existing methods, however, exhibit a breakdown between theory and practice, whereby pessimistic return ought to be bounded by the total variation distance of the model from the true dynamics, but is instead implemented through a penalty based on estimated model uncertainty. This has spawned a variety of uncertainty heuristics, with little to no comparison between differing approaches. In this paper, we compare these heuristics, and design novel protocols to investigate their interaction with other hyperparameters, such as the number of models, or imaginary rollout horizon. Using these insights, we show that selecting these key hyperparameters using Bayesian Optimization produces superior configurations that are vastly different to those currently used in existing hand-tuned state-of-the-art methods, and result in drastically stronger performance.

研究の動機と目的

• 理論的保証と実際の実装の間にある乖離、特に不確実性ペナルティに関する要因を調査すること。
• モデルベースのロールアウトによって引き起こされる共変量シフト下で、真のダイナミクス誤差を捕捉するためのさまざまな不確実性ヒューリスティクスの有効性を評価すること。
• 不確実性指標と、モデル数や仮想ロールアウト時間枠といった主要ハイパーパramータとの相互作用を調査すること。
• オフラインMBRLにおけるモデルの活用という現実世界の課題をよりよく反映する新しい評価プロトコルを開発すること。
• ベイズ最適化によって同定された最適なハイパーパramータが、多様な環境、特に報酬がスパarsな繊密な操作タスクを含む環境において、優れた安定性を示すことを実証すること。

提案手法

• 共変量シフト下でのモデルの活用を分離・測定できる新しい評価プロトコルを提案し、不確実性のキャリブレーションを正確に評価可能にする。
• アンサンブル分散、アレアトリック不確実性、オンラインRL指標といった複数の不確実性ヒューリスティクスを、ロールアウト中の真のダイナミクス誤差と比較する。
• 性能を目的関数として用い、モデル数、ロールアウト時間枠、ペナルティ係数といった主要ハイパーパラメータを同時にチューニングするベイズ最適化を採用する。
• rliableライブラリを用いた新しいベンチマーキングフレームワークを導入し、性能比較の統計的信頼性と頑健性を確保する。
• MuJoCoのロケモーションタスクおよび報酬がスパarsで人間のデモを含むAdroitの繊密な操作タスクを含む多様な環境で、研究結果を検証する。
• 不確実性に基づくペナルティを用いた懐疑的MDP定式化を採用し、誤ったモデル領域のポリシーの活用を防ぐ一方で、異なるペナルティタイプの影響を体系的にテストする。

実験結果

リサーチクエスチョン

• RQ1 オフラインMBRLにおける既存の不確実性ヒューリスティクスは、モデルロールアウト条件下で真のダイナミクス誤差とどの程度相関しているか？
• RQ2 不確実性指標と、モデル数や仮想ロールアウト時間枠といった主要ハイパーパラメータとの相互作用効果は何か？
• RQ3 ベイズ最適化は、オフラインMBRLにおいて、手動でチューニングされたSOTA手法を著しく上回るハイパーパラメータ設定を同定できるか？
• RQ4 報酬がスパarsでデータ分布が狭い環境を含む多様な環境において、異なる不確実性ペナルティはどの程度一般化可能か？
• RQ5 不確実性指標の選択は、特に繊密な操作タスクのような現実世界の設定において、ポリシーの安定性と最終的な性能にどのように影響するか？

主な発見

• ロールアウト中、標準的なアンサンブル分散ペナルティが真のダイナミクス誤差と最も相関しており、他の不確実性ヒューリスティクスに比べてモデルの不正確さをよりよく捉えている。
• ベイズ最適化によるハイパーパラメータチューニングにより、全環境において以前のグリッドサーチ手法を43%上回る性能向上が達成され、rliableフレームワーク下で統計的に有意であった。
• ベイズ最適化によって同定された最適なハイパーパラメータは、MOPO や COMBO といった既存のSOTA手法で用いられているものと著しく異なり、現在の手動チューニングの実践と整合性がないことが示された。
• 改善された手法は、オフラインMBRLでこれまであまり検討されていなかったAdroit PenおよびHammer環境でSOTA性能を達成し、一部の設定ではモデルフリーのCQLでさえも上回った。
• 最適化された設定で訓練されたポリシーは、トレーニング中により高い安定性を示し、高パフォーマンスなチェックポイントを手動で選別する必要がなくなり、現実世界への導入における信頼性が向上した。
• 本研究は、特にデータの多様性が限られ、報酬がスパarsな環境において、より良い不確実性推定とハイパーパラメータ選択が成功の鍵であることを確認した。