[論文レビュー] Hallucinating Value: A Pitfall of Dyna-style Planning with Imperfect Environment Models

Taher Jafferjee, Ehsan Imani+3 more|arXiv (Cornell University)|Jun 8, 2020

Reinforcement Learning in Robotics参考文献 18被引用数 6

ひとこと要約

この論文は、現実の環境に存在しないが、不完全な環境モデルによって生成される模擬的状態（『幻覚状態』）が、Dynaスタイルの計画における重要な障害要因であることを特定する。本論文は、幻覚値仮説（HVH）を提唱し、実状態の価値を幻覚状態の任意の値へ更新することで、方策の性能が低下することを示す。実験により、標準的なDynaバージョンはモデル誤差下で失敗するが、新たなアルゴリズムであるMulti-step Predecessor Dynaはそのような更新を回避し、安定した性能を維持することが示された。

ABSTRACT

Dyna-style reinforcement learning (RL) agents improve sample efficiency over model-free RL agents by updating the value function with simulated experience generated by an environment model. However, it is often difficult to learn accurate models of environment dynamics, and even small errors may result in failure of Dyna agents. In this paper, we investigate one type of model error: hallucinated states. These are states generated by the model, but that are not real states of the environment. We present the Hallucinated Value Hypothesis (HVH): updating values of real states towards values of hallucinated states results in misleading state-action values which adversely affect the control policy. We discuss and evaluate four Dyna variants; three which update real states toward simulated -- and therefore potentially hallucinated -- states and one which does not. The experimental results provide evidence for the HVH thus suggesting a fruitful direction toward developing Dyna algorithms robust to model error.

研究の動機と目的

• Dynaスタイルの計画におけるモデル誤差が、方策性能を低下させる仕組みを調査すること。
• 具体的な障害モードを同定すること：存在しない（幻覚的）状態の価値による価値関数の汚染。
• 実状態の価値を幻覚状態の価値へ更新することで、制御方策が誤った方向に誘導されるという仮説を検証すること。
• 実状態を幻覚状態に基づいて更新しないDynaアルゴリズムを開発すること。
• 不完全な環境モデル下でのDynaバージョンのロバスト性を評価すること。

提案手法

• 幻覚値仮説（HVH）を提唱：幻覚状態からの価値更新は、実状態の価値を誤導し、学習を劣化させる。
• 前向き／後ろ向きのモデル利用方向と1ステップ／マルチステップの更新タイプを組み合わせた4つのDynaバージョンを設計し、実状態を模擬的状態へ更新するかどうかで差をつける。
• マルチステッププレデセッサーDynaを新規に導入し、プレデセッサー状態を用いることで、模擬的遷移に基づく実状態の更新を回避する。
• 累積誤差を軽減するため、優先度が低下する計画キュー（$\beta^n$）を採用する。
• 幻覚値効果を隔離して示すために、独自の環境Borderworldを用いる。
• 標準ベンチマーク環境でアルゴリズムを評価し、障害モードの持続性を検証する。

実験結果

リサーチクエスチョン

• RQ1 実状態の価値を幻覚状態の価値へ更新することは、Dynaスタイルの計画における方策性能を低下させるか？
• RQ2 存在しない状態を生成するモデル誤差が、わずかな誤差であっても、価値関数の腐敗を恒久的に引き起こすか？
• RQ3 標準的なDynaバージョンは、幻覚状態による価値更新のため、不完全なモデル下で失敗するか？
• RQ4 実状態を幻覚状態に基づいて更新しないDynaアルゴリズムを設計でき、ロバスト性が向上するか？
• RQ5 この障害モードは、おもちゃ領域にとどまらず、標準ベンチマーク環境（MountainCar や CartPole など）でも持続するか？

主な発見

• 幻覚値仮説は実験的に裏付けられた：実状態の価値を幻覚状態の価値へ更新するDynaエージェントは性能が劣化する。
• 標準的なDynaバージョンは、わずかな数の幻覚状態を生成するモデル誤差下でも失敗するが、正確な実経験が得られている場合でも同様である。
• マルチステッププレデセッサーDynaアルゴリズムは、幻覚状態に基づく実状態の更新を回避し、モデル誤差下でも安定した学習を維持する。
• この障害モードは、MountainCar や CartPole といった標準ベンチマーク環境でも持続するため、おもちゃ領域に限定された現象ではない。
• 実経験では、幻覚状態の価値更新は是正できない。なぜなら、エージェントは直接その状態に到達できず、更新もできないからである。
• $\beta^n$ での優先度の低下は誤差の累積を軽減するが、完全に除去はしない。これにより、代替の設計原理の必要性が浮き彫りになる。