[論文レビュー] Value Gradient weighted Model-Based Reinforcement Learning

Claas Voelcker, Victor Liao+2 more|arXiv (Cornell University)|Apr 4, 2022

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本論文では、モデルベース強化学習におけるサンプル効率性とロバスト性を向上させるために、価値関数推定に与える影響が大きい状態次元を優先する価値勾配重み付き損失であるVaGraMを提案する。実験的価値関数の勾配をモデル損失に組み込むことで、訓練の安定化を実現し、Mujocoベンチマークにおいて最大尤度法と同等の性能を達成する。特に、モデル容量が小さい場合や状態次元にノイズが含まれる場合に顕著な効果を示す。

ABSTRACT

Model-based reinforcement learning (MBRL) is a sample efficient technique to obtain control policies, yet unavoidable modeling errors often lead performance deterioration. The model in MBRL is often solely fitted to reconstruct dynamics, state observations in particular, while the impact of model error on the policy is not captured by the training objective. This leads to a mismatch between the intended goal of MBRL, enabling good policy and value learning, and the target of the loss function employed in practice, future state prediction. Naive intuition would suggest that value-aware model learning would fix this problem and, indeed, several solutions to this objective mismatch problem have been proposed based on theoretical analysis. However, they tend to be inferior in practice to commonly used maximum likelihood (MLE) based approaches. In this paper we propose the Value-gradient weighted Model Learning (VaGraM), a novel method for value-aware model learning which improves the performance of MBRL in challenging settings, such as small model capacity and the presence of distracting state dimensions. We analyze both MLE and value-aware approaches and demonstrate how they fail to account for exploration and the behavior of function approximation when learning value-aware models and highlight the additional goals that must be met to stabilize optimization in the deep learning setting. We verify our analysis by showing that our loss function is able to achieve high returns on the Mujoco benchmark suite while being more robust than maximum likelihood based approaches.

研究の動機と目的

• モデル学習が状態予測精度に注力する一方でポリシー性能には注力しない、モデルベース強化学習における目的の不一致を解消すること。
• 最大尤度推定（MLE）がMBRLにおいて、モデル誤差が後続の計画やポリシー最適化に与える影響を考慮しないという限界を克服すること。
• 最適化軌道の不安定性や初期学習段階でのカバレッジ不足に対処することで、ディープラーニング環境における価値認識モデル学習を安定化させること。
• 不要な状態次元やノイズの多い状態次元、および小さなモデル容量に対して、MLEベースのモデルが著しく性能を落とす問題に対するロバスト性を向上させること。
• モデル学習を価値関数の誤差に対する感受性に合わせて整合させる一般化可能な微分可能損失関数を開発すること。

提案手法

• 予測状態に関する実験的価値関数の勾配を用いて、平均二乗誤差（MSE）損失を再重みづける新しいモデル損失関数であるVaGraMを提案する。
• 価値関数勾配の大きさを、ポリシーがモデル誤差にどれほど感受性を示すかの代理指標として用い、価値推定に大きな影響を与える状態次元の学習を優先する。
• 標準的なMBRLパイプラインにVaGraMを統合し、モデル適合段階で標準的なMLEベースの学習に代えて価値認識の監視を実施する。
• エンドツーエンドの動的モデル学習中に損失を適用し、ポリシーに関連する領域へ向かってモデル学習を誘導するため、価値関数の微分可能近似を用いる。
• MBPOに基づくMBRL-Libフレームワーク内でモジュラーなコンponentとして実装することで、標準的なMBRLフレームワークと互換性があり、スケーラブルであることを保証する。
• 経験的価値関数勾配を活用し、各状態次元ごとに動的に損失重みを調整することで、状態空間の高影響領域に焦点を当てたモデル更新を実現する。

実験結果

リサーチクエスチョン

• RQ1 理論的に整合性がある価値認識モデル学習アプローチが、なぜディープラーニング環境において実際にはMLEを上回らないのか？
• RQ2 関数近似と最適化軌道がディープネットワークに不安定性をもたらす場合、価値認識モデル学習をどのように安定化できるか？
• RQ3 価値関数勾配を組み込むことで、モデル容量が小さいか、高次元の状態空間において、モデルの一般化性能とポリシー性能がどの程度向上するか？
• RQ4 不要な状態次元や干渉する状態次元を含む環境では、価値勾配重み付き損失がMLEベースのモデル学習を上回ることができるか？
• RQ5 モデル容量が制限されたり、学習データがスパースな状況において、VaGraMはどのようにロバスト性を向上させるか？

主な発見

• 大規模なニューラルネットワークモデルを用いた場合、VaGraMはMujocoベンチマークスイートにおいて最大尤度推定と同等の性能を達成する。
• モデル容量が小さい設定では、VaGraMはMLEベースのモデルを顕著に上回り、サンプル効率性とロバスト性の両面で優れた性能を示す。
• 不要な状態次元や干渉する状態次元によって引き起こされる性能低下を低減し、ノイズが存在しても高いポリシー報酬を維持する。
• 最適化軌道の不安定性を是正することで、訓練プロセスが安定化し、以前の価値認識アプローチに見られる問題を解消する。
• 価値勾配重み付け機構により、価値関数に大きな影響を与える状態次元の学習が効果的に優先され、より良いポリシー一般化が達成される。
• 経験的結果から、VaGraMはポリシー最適化に重要な領域において、状態予測精度と価値予測精度の両方を向上させることを示している。