[論文レビュー] Lazy-MDPs: Towards Interpretable Reinforcement Learning by Learning When to Act

Alexis Jacq, Johan Ferret+2 more|arXiv (Cornell University)|Mar 16, 2022

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

この論文では、標準的なMDPに「ラジオ」行動を追加して意思決定をデフォルト方策に延期させるとともに、非ラジオ行動に対してペナルティを与えることで最小限の干渉を促す、ラジオMDPという新しい強化学習の定式化を提案する。この手法により、エージェントは「いつ行動するか」を学習でき、解釈可能な方策を生成し、特に困難な探索タスクにおいて競争力あるまたは改善された性能を達成する。制御が必要な状態の割合は非常に小さく抑えられる。

ABSTRACT

Traditionally, Reinforcement Learning (RL) aims at deciding how to act optimally for an artificial agent. We argue that deciding when to act is equally important. As humans, we drift from default, instinctive or memorized behaviors to focused, thought-out behaviors when required by the situation. To enhance RL agents with this aptitude, we propose to augment the standard Markov Decision Process and make a new mode of action available: being lazy, which defers decision-making to a default policy. In addition, we penalize non-lazy actions in order to encourage minimal effort and have agents focus on critical decisions only. We name the resulting formalism lazy-MDPs. We study the theoretical properties of lazy-MDPs, expressing value functions and characterizing optimal solutions. Then we empirically demonstrate that policies learned in lazy-MDPs generally come with a form of interpretability: by construction, they show us the states where the agent takes control over the default policy. We deem those states and corresponding actions important since they explain the difference in performance between the default and the new, lazy policy. With suboptimal policies as default (pretrained or random), we observe that agents are able to get competitive performance in Atari games while only taking control in a limited subset of states.

研究の動機と目的

• 従来の強化学習が『どう行動するか』にのみ焦点を当てているという制限を克服し、『いつ行動するか』も考慮する新しいパラダイムを導入すること。
• エージェントがデフォルト方策から逸脱する状態を特定することで、解釈性を向上させること。
• 劣化した方策や事前学習済み方策の上に、スパarsな制御を学習することで、効率的な学習を可能にすること。
• ラジオMDPの理論的性質、特に価値関数と最適性条件を研究すること。
• ラジオMDPが、特にスパarsリワード環境において、有効かつ解釈可能な方策を生成することを実証的に検証すること。

提案手法

• 標準MDPの行動空間を拡張し、意思決定をデフォルト方策に延期する「ラジオ」行動を追加する。
• 非ラジオ行動に対するペナルティ（超パrameter ηを用いて）を報酬関数に組み込むことで、制御頻度の最小化を促進する。
• ラジオMDPの価値関数と最適性条件を定式化し、最適方策がデフォルト方策と制御ペナルティに依存することを示す。
• ランダムまたは劣化した方策（DQN）をデフォルトとして用い、ラジオMDPフレームワーク内でDQNエージェントを学習する。
• 学習済み方策とデフォルト方策の状態ごとの差異を用いて、どの状態でアクティブな制御が必要かを解釈する。
• アタリゲームの性能を、人間正規化中央値スコアと制御頻度の指標を用いて評価し、標準DQNおよびウォームリスタートベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 『どう行動するか』ではなく『いつ行動するか』を学習する定式化は、より解釈可能で効果的な強化学習方策をもたらすか？
• RQ2 制御頻度の変化が、報酬密度の高い環境および低い環境における性能に与える影響は？
• RQ3 事前学習済み方策をデフォルトとして用いる場合、ラジオMDPでの学習が、標準学習やウォームリスタートを上回るか？
• RQ4 制御への依存度を減らすことで、ハードな報酬タスクにおける探索をどの程度改善できるか？
• RQ5 価値関数や最適性といったラジオMDPの理論的性質は、デフォルト方策と制御ペナルティにどの程度依存するか？

主な発見

• Frostbiteでは、DQNベースラインの200%にのぼるスコアを達成しながら、制御をとる状態は10%未満に抑えられ、探索の向上が確認された。
• Gravitarでは、DQNスコアのほぼ100%を維持しながら、制御頻度が10%未満に抑えられ、低干渉率でも安定性が保たれた。
• 50%の性能を持つ劣化DQNをデフォルトとして用いた場合、ウォームリスタートより高速で安定した学習が達成された。最終的な性能に向上は見られなかったが、サンプル効率は向上した。
• 各ゲームごとに制御ペナルティηを最適化した場合、ラジオMDPは、初期学習から直接学習する場合よりも顕著な性能向上を示し、ハイパーパrameterへの感受性が強いことが示された。
• この手法により、制御が必要な状態（重要な意思決定ポイント）を明確に示す解釈可能な方策が得られ、後処理による説明手法を用いずに、タスクの構造に関する洞察が得られた。
• ZaxxonとPrivateEyeでは、それぞれDQNベースラインの80%以上、100%のスコアを達成しながら、制御頻度が30%未満に抑えられ、スパarsリワード環境における有効性が確認された。