[論文レビュー] Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning

Mohammad Babaeizadeh, Mohammad Saffar+5 more|arXiv (Cornell University)|Dec 8, 2020

Reinforcement Learning in Robotics参考文献 50被引用数 4

ひとこと要約

この論文は、視覚的モデルベース強化学習（MBRL）における設計的妥当性を、報酬のみを予測するモデルと将来の観測（画像）を予測するモデルとを比較することで評価している。予測画像がタスクパフォーマンスを著しく向上させることを発見し、画像予測の正確さが報酬予測の正確さよりも、下流タスクのパフォーマンスとより強く相関していることが判明した。これは、視覚的モデリングが探索と計画の効率性において重要な役割を果たしていることを示している。

ABSTRACT

Model-based reinforcement learning (MBRL) methods have shown strong sample efficiency and performance across a variety of tasks, including when faced with high-dimensional visual observations. These methods learn to predict the environment dynamics and expected reward from interaction and use this predictive model to plan and perform the task. However, MBRL methods vary in their fundamental design choices, and there is no strong consensus in the literature on how these design decisions affect performance. In this paper, we study a number of design decisions for the predictive model in visual MBRL algorithms, focusing specifically on methods that use a predictive model for planning. We find that a range of design decisions that are often considered crucial, such as the use of latent spaces, have little effect on task performance. A big exception to this finding is that predicting future observations (i.e., images) leads to significant task performance improvement compared to only predicting rewards. We also empirically find that image prediction accuracy, somewhat surprisingly, correlates more strongly with downstream task performance than reward prediction accuracy. We show how this phenomenon is related to exploration and how some of the lower-scoring models on standard benchmarks (that require exploration) will perform the same as the best-performing models when trained on the same training data. Simultaneously, in the absence of exploration, models that fit the data better usually perform better on the downstream task as well, but surprisingly, these are often not the same models that perform the best when learning and exploring from scratch. These findings suggest that performance and exploration place important and potentially contradictory requirements on the model.

研究の動機と目的

• 視覚的モデルベース強化学習（MBRL）における基本的な設計的選択がパフォーマンスに与える影響を理解すること。
• 将来の観測（画像）を予測するか、報酬のみを予測するかの違いが、下流タスクのパフォーマンスに与える影響を評価すること。
• 潜在空間モデリングやその他のアーキテクチャ的選択がパフォーマンスに与える影響を調査すること。
• モデルの正確さ、計画、探索の相互作用を分析すること。
• アルゴリズム的混同要因を排除した、明確で制御されたモデル設計の比較を提供すること。

提案手法

• 著者たちは、画像を予測するか、報酬のみを予測するか、およびダイナミクスを潜在空間か観測空間でモデリングするかという点で異なる複数のMBRLモデルアーキテクチャを比較している。
• すべてのモデルは、同じ計画アルゴリズム（CEM）を用い、固定されたハイパーパrameterを用いて訓練・評価されており、モデル設計の影響を明確に分離している。
• 複数の環境において一貫した訓練および評価プロトコルを用い、制御性能と予測正確さの指標に注目している。
• 探索を要する標準ベンチマークと、固定された訓練データを用いた評価を併用することで、パフォーマンスを探索ダイナミクスから分離している。
• 画像および報酬の予測正確さを測定し、下流タスクのパフォーマンスと相関させて、予測の正確性を評価している。
• モデル容量のアブレーションスタディ（例：縮小されたアーキテクチャ）を含め、モデリング能力がパフォーマンスに与える影響を評価している。

実験結果

リサーチクエスチョン

• RQ1 視覚的MBRLにおいて、将来の観測（画像）を予測することは、報酬のみを予測する場合よりも優れたタスクパフォーマンスをもたらすか？
• RQ2 画像予測正確さと報酬予測正確さのどちらが、下流タスクパフォーマンスの予測により強く相関しているか？
• RQ3 潜在空間の使用や自己回帰的モデリングといったアーキテクチャ的選択は、パフォーマンスにどの程度影響を与えるか？
• RQ4 パフォーマンスと探索は、予測モデルにどのような対立する要件を課すか？
• RQ5 学習を初期状態から行う場合、データに適合する能力が高いモデルが常に最良のパフォーマンスを発揮するのか、それとも探索がこの関係を変えるか？

主な発見

• 報酬のみを予測する場合に比べ、将来の観測（画像）を予測することは、制御に必要な情報が十分に得られるにもかかわらず、顕著に優れたタスクパフォーマンスをもたらす。
• 画像予測正確さが報酬予測正確さよりも、下流タスクパフォーマンスとより強く相関していることから、視覚的忠実度が計画品質の重要な指標であると考えられる。
• 探索を要する標準ベンチマークでパフォーマンスが低いモデルは、同じ固定データで訓練した場合、上位モデルと同等の性能を示すことが多く、探索依存性が顕著に現れている。
• 探索が存在しない状況では、データ適合能力が優れた（予測正確さが高い）モデルが一般的に優れたパフォーマンスを発揮するが、初期状態から学習する際には、常に最良のパフォーマンスを発揮するとは限らない。
• 潜在空間の使用や特定のネットワークアーキテクチャといった設計選択は、最終的なタスクパフォーマンスにほとんどまたは全く影響を与えないことが判明し、それらの必要性に関する仮定に疑問を呈している。
• 本研究の結果から、パフォーマンスと探索は、予測モデルに潜在的に矛盾する要件を課しており、画像予測がより優れた探索と長期計画を可能にしていることが示唆されている。