[論文レビュー] Revisiting Design Choices in Model-Based Offline Reinforcement Learning.

Cong Lu, Philip Ball+3 more|arXiv (Cornell University)|Oct 8, 2021

Reinforcement Learning in Robotics参考文献 45被引用数 4

ひとこと要約

この論文は、モデルベースのオフライン強化学習における設計選択を再評価し、不確実性ヒューリスティクスとハイパーパrameter設定を比較することで、体系的なアブレーションとベイズ最適化を通じて、現在の最先端の手動チューニング設定とは著しく異なる設定（特にモデル数とロールアウトホライズン）が優れた性能を発揮することを示している。

ABSTRACT

Offline reinforcement learning enables agents to leverage large pre-collected datasets of environment transitions to learn control policies, circumventing the need for potentially expensive or unsafe online data collection. Significant progress has been made recently in offline model-based reinforcement learning, approaches which leverage a learned dynamics model. This typically involves constructing a probabilistic model, and using the model uncertainty to penalize rewards where there is insufficient data, solving for a pessimistic MDP that lower bounds the true MDP. Existing methods, however, exhibit a breakdown between theory and practice, whereby pessimistic return ought to be bounded by the total variation distance of the model from the true dynamics, but is instead implemented through a penalty based on estimated model uncertainty. This has spawned a variety of uncertainty heuristics, with little to no comparison between differing approaches. In this paper, we compare these heuristics, and design novel protocols to investigate their interaction with other hyperparameters, such as the number of models, or imaginary rollout horizon. Using these insights, we show that selecting these key hyperparameters using Bayesian Optimization produces superior configurations that are vastly different to those currently used in existing hand-tuned state-of-the-art methods, and result in drastically stronger performance.

研究の動機と目的

• 理論的限界における懐疑的リターンの境界と、オフラインモデルベースRLにおけるモデル不確実性ヒューリスティクスに基づく実装との間の乖離を調査すること。
• 不確実性ヒューリスティクスと、モデル数や仮想的ロールアウトホライズンといった重要なハイパーパrameterとの相互作用を評価すること。
• 既存の手動チューニングされた最先端手法を上回る最適なハイパーパrameter設定を特定すること。
• ベイズ最適化が、オフラインモデルベースRLにおいて直感的でないが高性能な設定を発見できることを示すこと。

提案手法

• 著者らは、不確実性ヒューリスティクスの性能への影響を、さまざまなハイパーパrameter設定において体系的に評価できる新しい評価プロトコルを設計した。
• モンテカルロドロップアウトやアンサンブルベースの不確実性といった、さまざまな不確実性推定手法を、懐疑的リターン正則化の文脈で比較した。
• ハイパーパラメータ空間（モデル数やロールアウトホライズンを含む）を探索するため、ベイズ最適化フレームワークを採用した。
• 学習済みのダイナミクスモデルを用い、不確実性に基づく懐疑的アプローチを適用することで、標準的なオフラインRLベンチマーク上で性能を評価した。
• 他の要因を制御することで各ハイパーパラメータの影響を分離し、設計選択のアブレーションが可能になった。

実験結果

リサーチクエスチョン

• RQ1 異なる不確実性ヒューリスティクスは、さまざまなハイパーパラメータ設定下で、オフラインモデルベースRLの性能にどのように影響を与えるか？
• RQ2 不確実性ヒューリスティクスと、モデル数やロールアウトホライズンといった重要なハイパーパラメータとの相互作用効果は何か？
• RQ3 ベイズ最適化は、オフラインモデルベースRLにおいて、手動チューニングされたSOTA手法を著しく上回るハイパーパラメータ設定を発見できるか？
• RQ4 現在の手動チューニングされた設定は、体系的な探索によって特定された最適設定からどの程度逸脱しているか？

主な発見

• 本研究では、最先端手法における現在の手動チューニングされたハイパーパラメータ設定が、最適でないことが明らかになった。ベイズ最適化によって同定された設定とは著しく異なる。
• ベイズ最適化によって同定された最適な設定は、既存のSOTA手法と比較して著しく優れた性能を発揮した。
• モデル数やロールアウトホライズンといったハイパーパラメータと不確実性ヒューリスティクスとの間の相互作用は、最終的な性能に顕著な影響を与えることが分かった。
• 理論的境界である全変動距離に基づくものと、現在の不確実性ヒューリスティクスとの間にギャップが存在することが示され、実装上の不一致が生じていることが明らかになった。