[論文レビュー] Maximum Entropy RL (Provably) Solves Some Robust RL Problems

Benjamin Eysenbach, Sergey Levine|arXiv (Cornell University)|Mar 10, 2021

Reinforcement Learning in Robotics参考文献 57被引用数 28

ひとこと要約

MaxEnt RLは証明可能な下限を頑健なRL目的に提供し、ダイナミクスと報酬の特定の撹乱に対して追加の頑健化機構なしで頑健な方策を生み出します。

ABSTRACT

Many potential applications of reinforcement learning (RL) require guarantees that the agent will perform well in the face of disturbances to the dynamics or reward function. In this paper, we prove theoretically that maximum entropy (MaxEnt) RL maximizes a lower bound on a robust RL objective, and thus can be used to learn policies that are robust to some disturbances in the dynamics and the reward function. While this capability of MaxEnt RL has been observed empirically in prior work, to the best of our knowledge our work provides the first rigorous proof and theoretical characterization of the MaxEnt RL robust set. While a number of prior robust RL algorithms have been designed to handle similar disturbances to the reward function or dynamics, these methods typically require additional moving parts and hyperparameters on top of a base RL algorithm. In contrast, our results suggest that MaxEnt RL by itself is robust to certain disturbances, without requiring any additional modifications. While this does not imply that MaxEnt RL is the best available robust RL method, MaxEnt RL is a simple robust RL method with appealing formal guarantees.

研究の動機と目的

• 現実の環境でダイナミクスや報酬に撹乱が生じ得る状況における頑健なRLの必要性を動機づける。
• このような撹乱下でMaxEnt RLがどのように頑健な方策を生み出しうるかを理論的に特徴づける。
• MaxEnt RLの最大化がペシミスティックな頑健目的とどのように関連するかを示し、頑健集合を定量化する。

提案手法

• エントロピー項と平衡係数αを含むMaxEnt RL目的 J_MaxEntを定義する。
• 報酬撹乱に対する頑健性（Theorem 4.1）と、ペシミスティックな報酬 bar{r}（Equation 3）および発散に基づく頑健集合（Equation 5）を用いたダイナミクス撹乱に対する頑健性を証明する。
• tilde{R}(pi) および tilde{P}(pi) を特徴づけ、εを方策エントロピーに関連づける（Lemma 4.3）。
• MaxEnt RLを正則化されていない頑健目的の下限へ結びつけるCorollaryを提供する（Corollary 4.2.1）。
• 報酬とダイナミクスの頑健性について直感を深めるための実例を提供する。
• 従来の頑健手法および標準的なRLと比較する数値シミュレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 MaxEnt RLは報酬とダイナミクスの撹乱下で頑健なRL目的の下限を最大化できるか。
• RQ2 MaxEnt RLの保証が成り立つ報酬およびダイナミクスの頑健集合とは何か。
• RQ3 エントロピー係数は頑健性と頑健集合の大きさにどう影響するか。
• RQ4 経験的な結果は実践的なタスクで理論的な頑健性の主張を支持するか。

主な発見

• MaxEnt RLはペシミスティックな報酬関数を適用したとき頑健なRL目的の下限を証明可能に最大化する。
• 頑健性の予算epsilonは方策エントロピーによって下界を持ち、エントロピーと頑健性の水準を結びつける。
• MaxEnt RLの方策は複数の経路を学習し、ダイナミクスや報酬の撹乱に対して頑健性を提供し、専門的な頑健手法と競争力を持つ。
• 分析と実験は、エントロピー係数が大きいほど頑健性が強くなり、ダイナミクスの対向撹乱にも頑健性が拡張されることを示す。
• 経験的結果は、MaxEnt RLがベンチマークタスクで従来の頑健RL手法を上回るか、同等でありつつ概念的により単純であることを示す。