[論文レビュー] Ready Policy One: World Building Through Active Learning

Philip Ball, Jack Parker-Holder+3 more|arXiv (Cornell University)|Feb 7, 2020

Reinforcement Learning in Robotics参考文献 51被引用数 8

ひとこと要約

Ready Policy One (RP1) は、データ収集中に報酬最大化とモデルの不確実性低減の動的バランスを取る、Model-Based Reinforcement Learning (MBRL) のための画期的なアクティブラーニングフレームワークを導入する。オンラインでの探索と活用のトレードオフの適応と、早期停止メカニズムを用いることで、連続制御ベンチマーク全体で顕著なサンプル効率の向上を達成し、統計的に有意な改善を示す既存のMBRL手法を上回る。

ABSTRACT

Model-Based Reinforcement Learning (MBRL) offers a promising direction for sample efficient learning, often achieving state of the art results for continuous control tasks. However, many existing MBRL methods rely on combining greedy policies with exploration heuristics, and even those which utilize principled exploration bonuses construct dual objectives in an ad hoc fashion. In this paper we introduce Ready Policy One (RP1), a framework that views MBRL as an active learning problem, where we aim to improve the world model in the fewest samples possible. RP1 achieves this by utilizing a hybrid objective function, which crucially adapts during optimization, allowing the algorithm to trade off reward v.s. exploration at different stages of learning. In addition, we introduce a principled mechanism to terminate sample collection once we have a rich enough trajectory batch to improve the model. We rigorously evaluate our method on a variety of continuous control tasks, and demonstrate statistically significant gains over existing approaches.

研究の動機と目的

• ヒューリスティックな探索に起因するMBRLの非効率性を是正すること。これは、しばしば冗長または有用でないデータ収集を引き起こす。
• 探索温度などの固定ハイパーパrameterに依存することを低減すること。これらは手動でのチューニングを必要とし、柔軟性を制限する。
• MBRLのデータ収集をアクティブラーニング問題として定式化すること。これにより、最小限のサンプルでモデルの改善を最大化するようにポリシーを最適化する。
• 別個の「活用」ポリシーを必要としないようにすること。データ収集用ポリシーが現実環境でも効果的であり、同時に世界モデルの学習に有用であることを保証する。
• 十分なモデル改善が達成された段階でデータ収集を停止する、原理的な早期停止メカニズムを導入すること。これにより、冗長なサンプリングを防止する。

提案手法

• RP1 は、期待報酬とモデル不確実性低減の両方を最適化するハイブリッド目的関数を定式化し、動的に調整されるトレードオフ係数 λ を用いる。
• トレードオフ係数 λ はオンライン勾配降下法を用いて学習され、最適化の現在の状態に応じて、報酬と探索の焦点を動的に変更可能となる。
• 次状態予測の不確実性ではなく、報酬予測の分散を内部不確実性信号として用いることで、タスク関連のダイナミクスに適切に一致した探索を実現する。
• モデル性能の限界的向上量に基づいた早期停止基準が適用される。改善が頭打ちになると、データ収集が停止して冗長なサンプリングを防ぐ。
• フレームワークは、タスク間の移植性と学習済み世界モデルを用いた効率的な計画を可能にする、DynaスタイルのMBRLパラダイムに従う。
• 本手法は、既存のMBRLアーキテクチャと直交しており、確率的ニューラルネットワークや変分オートエンコーダーなどの最先端の世界モデルと統合可能である。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングの原則をMBRLに効果的に適用することで、データ収集におけるサンプル効率を向上させることができるか？
• RQ2 トレーニング中に探索と活用のトレードオフを動的に調整することで、固定ハイパーパrameterと比較して学習性能が向上するか？
• RQ3 報酬予測分散を不確実性信号として用いることで、次状態予測分散を用いる場合よりも、情報に基づいた探索を効果的に導けるか？
• RQ4 探索係数 λ のオンライン学習メカニズムは、静的または手動チューニングされた値と比較して、性能向上にどの程度寄与するか？
• RQ5 軌道収集のための早期停止メカニズムは、最終ポリシー性能を損なうことなく、冗長性を低減し、サンプル効率を向上させることができるか？

主な発見

• HalfCheetah では、RP1 が 10^5 ステップでの中央値パフォーマンス 390.49 を達成し、ベースラインの 283.27 より顕著に優れている。
• Ant 環境では、RP1 が中央値報酬 238.4 を達成し、ベースラインの 186.36 や RP1 (λ=0) の 223.21 よりも顕著に優れている。
• Hopper では、RP1 が中央値報酬 619.73 を達成し、ベースラインの 487.25 や両方のアブレーションバリアントを上回り、多様なタスクにわたる頑健性を示している。
• アブレーションスタディの結果、オンラインでの λ の適応を除去した場合（RP1 (λ=0)）は、Swimmer でパフォーマンスが低下（41.14 対 64.19）し、動的トレードオフ調整の重要性が示された。
• 次状態分散を不確実性信号として用いた場合、報酬分散を用いた場合より効果が低く、図3および表2では中央値報酬が低く、四分位範囲も広がっている。
• 早期停止メカニズムはサンプル効率を顕著に向上させた。同じポリシーを用いても、RP1 (No EarlyStop) のバージョンはパフォーマンスが低く、冗長なデータ収集が性能に悪影響を及えることが示された。