[論文レビュー] Improving Generalization of Reinforcement Learning with Minimax Distributional Soft Actor-Critic

Yangang Ren, Jingliang Duan+3 more|arXiv (Cornell University)|Feb 13, 2020

Reinforcement Learning in Robotics参考文献 27被引用数 8

ひとこと要約

本稿では、ミニマックスゲームダイナミクスと分布的強化学習（RL）フレームワークを組み合わせることで、一般化性能を向上させる強化学習アルゴリズム、Minimax Distributional Soft Actor-Critic（Minimax DSAC）を提案する。リスクを避ける主人公と、環境を混乱させるリスクを求める対戦相手を訓練することで、未観測の環境変動に対しても頑健な方策を学習し、安全が求められる自動走行の交差点シーンにおいて、標準的なDSACを著しく上回る性能を発揮する。

ABSTRACT

Reinforcement learning (RL) has achieved remarkable performance in numerous sequential decision making and control tasks. However, a common problem is that learned nearly optimal policy always overfits to the training environment and may not be extended to situations never encountered during training. For practical applications, the randomness of environment usually leads to some devastating events, which should be the focus of safety-critical systems such as autonomous driving. In this paper, we introduce the minimax formulation and distributional framework to improve the generalization ability of RL algorithms and develop the Minimax Distributional Soft Actor-Critic (Minimax DSAC) algorithm. Minimax formulation aims to seek optimal policy considering the most severe variations from environment, in which the protagonist policy maximizes action-value function while the adversary policy tries to minimize it. Distributional framework aims to learn a state-action return distribution, from which we can model the risk of different returns explicitly, thereby formulating a risk-averse protagonist policy and a risk-seeking adversarial policy. We implement our method on the decision-making tasks of autonomous vehicles at intersections and test the trained policy in distinct environments. Results demonstrate that our method can greatly improve the generalization ability of the protagonist agent to different environmental variations.

研究の動機と目的

• 安全が求められる応用分野（例：自動走行）において、深層RL方策の未観測の環境変動への一般化性能の低さを改善すること。
• 環境の不確実性をミニマックス定式化によってモデル化し、対戦相手が主人公のパフォーマンスを意図的に損なうことで、頑健な方策を向上させること。
• リターンの分布を明示的にモデル化することで、平均リターンを超えた分散や極端なリスクを捉えるリスク認識型方策学習を可能にすること。
• 従来のミニマックスまたはリスク感受性のある手法よりも、より良い一般化性能を示す連続的行動、分布的RLアルゴリズムを開発すること。
• 訓練中に観測されていない多様な敵対的走行モード下での交差点通過というタスクにおいて、優れた性能を示すこと

提案手法

• 主人公が期待リターンを最大化し、対戦相手がそれを最小化するミニマックスゲームフレームワークを導入し、最悪の環境摂動を模擬する。
• 分布的RLパラダイムを統合し、リターンの完全な分布をモデル化することで、分布的パrameterを用いた明示的リスクモデリングを可能にする。
• 分散と極端な結果のリスクを低減するリスク回避型主人公方策と、環境の不確実性を拡大するリスク求心型対戦相手方策を定式化する。
• 分布的ソフトアクトアーコンシスター（DSAC）をバックボーンとして用い、主人公と対戦相手の方策を交互に訓練する。分布的Qネットワークを用いて状態-行動価値の分布を推定する。
• 対戦相手によって引き起こされる最悪の分布シフトを想定した、リターン分布上のミニマックス目的関数を定式化し、価値関数を最適化する。
• 交差点での自律走行車両の意思決定に本アルゴリズムを適用し、攻撃的・慎重・ランダムな行動をとる敵対エージェントを用いてシミュレーションする

実験結果

リサーチクエスチョン

• RQ1 ミニマックス定式化と分布的RLを組み合わせることで、未観測の環境条件下での方策一般化性能が向上するか？
• RQ2 リターン分布モデリングによるリスク認識型方策学習は、極端または希少な環境変動下でのパフォーマンスにどのように影響を与えるか？
• RQ3 リスク求心型対戦相手を用いた敵対的訓練は、自動走行のような安全が求められる制御タスクにおいて、より頑健な方策をもたらすか？
• RQ4 訓練時に観測されていない多様な走行モード（攻撃的・慎重・ランダム）において、Minimax DSACは標準DSACと比較してどの程度パフォーマンスに優れているか？
• RQ5 分布的フレームワークは、離散的価値関数近似に依存する従来のリスク感受性や敵対的RL手法よりも、より優れた一般化性能を実現できるか？

主な発見

• t検定の結果、すべての敵対的走行モードにおいてMinimax DSACは標準DSACよりも顕著に高い平均リターンを達成しており、p値 < 0.001であった。
• 攻撃的モードではDSACが衝突により失敗（通過時間2.3秒）、Minimax DSACは減速・停止により衝突を回避（通過時間8.5秒）した。
• ランダムモードではMinimax DSACは6.1秒で交差点を通過し、DSACの8.9秒を上回り、優れた適応性を示した。
• 慎重モードでは両手法とも成功したが、Minimax DSACは7.4秒（DSAC：7.6秒）とより速く通過し、安全性を損なわず効率性が向上した。
• 訓練中は敵対的摂動により平均リターンが低かったにもかかわらず、Minimax DSACは未観測の環境変動への一般化性能が優れていた。
• 可視化により、Minimax DSACが高リスク状況で事前に減速・停止する戦略を学習しているのに対し、DSACは高速戦略により衝突を引き起こしていたことが確認された。