[論文レビュー] Mean-Variance Policy Iteration for Risk-Averse Reinforcement Learning

Shangtong Zhang, Bo Liu+1 more|arXiv (Cornell University)|Apr 22, 2020

Reinforcement Learning in Robotics参考文献 72被引用数 5

ひとこと要約

本稿では、報酬の分散を最適化するための拡張マルコフ決定過程（augmented MDP）を用いる、リスク回避的強化学習のための柔軟なフレームワークであるMean-Variance Policy Iteration（MVPI）を提案する。Fenchel双対性とブロック巡回座標上昇を活用することで、非政策的（off-policy）および決定的（deterministic）な方策学習が可能となり、Mujocoベンチマークにおいて先行手法を上回る性能を発揮する。これは、リスク回避的強化学習における非政策的および決定的方策の初めての成功した応用である。

ABSTRACT

We present a mean-variance policy iteration (MVPI) framework for risk-averse control in a discounted infinite horizon MDP optimizing the variance of a per-step reward random variable. MVPI enjoys great flexibility in that any policy evaluation method and risk-neutral control method can be dropped in for risk-averse control off the shelf, in both on- and off-policy settings. This flexibility reduces the gap between risk-neutral control and risk-averse control and is achieved by working on a novel augmented MDP directly. We propose risk-averse TD3 as an example instantiating MVPI, which outperforms vanilla TD3 and many previous risk-averse control methods in challenging Mujoco robot simulation tasks under a risk-aware performance metric. This risk-averse TD3 is the first to introduce deterministic policies and off-policy learning into risk-averse reinforcement learning, both of which are key to the performance boost we show in Mujoco domains.

研究の動機と目的

• リスク中立的とリスク回避的強化学習の性能格差を埋めるために、リスク回避的設定において非政策的および決定的方策学習を可能にする。
• Fenchel双対性とブロック巡回座標上昇を用いて、報酬関数が方策に依存する問題を効果的に扱う。
• 任意のリスク中立的方策評価および制御手法を統合可能な柔軟なフレームワークを提案する。
• Mujocoロボット制御タスクにおいて、非政策的および決定的方策を用いたリスク回避的強化学習の最初の実証的成功を示す。
• 複雑な環境における総報酬分散の最小化のスケーラブルな代理指標として、ステップごとの報酬分散を最適化する。

提案手法

• MVPIは、状態空間に方策の平均と分散を追加することで拡張されたマルコフ決定過程を構築し、期待報酬とリスクの両方を同時に最適化可能にする。
• フレームワークはFenchel双対性を用いて、方策に依存する報酬問題を解ける凸最適化問題に変換し、方策と価値関数の学習を分離する。
• ブロック巡回座標上昇（BCAA）を用いて、繰り返し方策と価値関数を最適化し、方策に依存する報酬が存在する状況でも収束を保証する。
• 密度比推定を用いて行動方策とターゲット方策を分離することで、非政策的および政策的学習の両方を可能にする。
• リスク回避的TD3は、MVPI内での具体的なアルゴリズムとして実装され、非政策的学習と決定的方策、分散正則化を組み合わせる。
• MVPIは任意のリスク中立的強化学習アルゴリズムと互換性があり、既存の手法をリスク回避的制御に即座に統合可能である。

実験結果

リサーチクエスチョン

• RQ1 リスク回避的強化学習において非政策的および決定的方策学習を可能にする統合的フレームワークを設計できるか？
• RQ2 ステップごとの報酬分散を最適化することは、総割引報酬分散の最小化の有効でスケーラブルな代理指標として機能するか？
• RQ3 報酬関数が方策に依存する（方策依存報酬）問題を、平均・分散強化学習で効果的に扱えるか？
• RQ4 MVPIは、オンポリシーおよびオフポリシーの両方の既存のリスク中立的方策最適化手法と互換性を持つようにできるか？
• RQ5 リスク回避的強化学習に非政策的学習と決定的方策を統合することで、複雑な制御タスクにおいて測定可能な性能向上が得られるか？

主な発見

• MVPI内に実装されたリスク回避的TD3は、リスク認識性能指標を用いた厳しいMujocoロボット制御タスクにおいて、ヴァナラTD3およびすべての先行平均・分散強化学習手法を上回る性能を発揮する。
• MVPIは、リスク回避的強化学習における非政策的学習の最初の成功した応用を実現し、データ効率と訓練安定性を顕著に向上させる。
• MVPI内での決定的方策の使用により、シミュレーションにおける方策の分散が低減され、より滑らかで信頼性の高い軌道が得られる。
• Fenchel双対性とBCAAを用いて、MVPIは方策に依存する報酬問題を効果的に処理し、非定常なMDPにおいても収束を達成する。
• フレームワークはスケーラビリティと柔軟性を示し、多様なリスク中立的アルゴリズムをリスク回避的制御に即座に統合可能である。
• 実験的結果から、リスク回避度（λ）が高くなるにつれて、高リスク行動の選択確率が低下することが確認され、効果的なリスクキャリブレーションが実現している。