[論文レビュー] Distributional Soft Actor Critic for Risk Sensitive Learning.

Xiaoteng Ma, Qiyuan Zhang+4 more|arXiv (Cornell University)|Apr 30, 2020

Reinforcement Learning in Robotics参考文献 47被引用数 12

ひとこと要約

本論文は、分布的強化学習（distributional RL）と最大エントロピー強化学習（maximum entropy RL）を統合することで、リターンの全分布をモデル化し、ポリシーの多様性を向上させる、新しい強化学習アルゴリズムであるDistributional Soft Actor Critic（DSAC）を提案する。完全にパラメータ化された分位数関数を活用することで、リスクセンシティブな制御が可能となり、リスク志向性に適応する安定性と柔軟性を備えた、連続的制御ベンチマークにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

Most of reinforcement learning (RL) algorithms aim at maximizing the expectation of accumulated discounted returns. Since the accumulated discounted return is a random variable, its distribution includes more information than its expectation. Meanwhile, entropy of policy indicates its diversity and it can help improve the exploration capability of algorithms. In this paper, we present a new RL algorithm named Distributional Soft Actor Critic (DSAC), combining distributional RL and maximum entropy RL together. Taking the randomness both in action and discounted return into consideration, DSAC over performs the state-of-the-art baselines with more stability in several continuous control benchmarks. Moreover, distributional information of returns can also be used to measure metrics other than expectation, such as risk-related metrics. With a fully parameterized quantile function, DSAC is easily adopted to optimize policy under different risk preferences. Our experiments demonstrate that with distribution modeling in RL the agent performs better both for risk-averse and risk-seeking control tasks.

研究の動機と目的

• 標準の強化学習アルゴリズムが期待リターンのみ最適化するという制限を解消し、リターンの全分布を無視する問題に対処すること。
• 学習目的にエントロピー正則化を組み込むことで、探索性とポリシーの多様性を向上させること。
• リターンの分布をモデル化することで、リスク志向性（例えば、リスク回避的またはリスク好好的）に応じた最適化を可能にする、リスクセンシティブな学習を実現すること。
• 分布的リターンとエントロピー最大化を統合した包括的なフレームワークを構築し、連続的制御におけるサンプル効率とロバスト性を向上させること。
• 異なるリスクプロファイルに応じて安定的かつ適応可能なポリシー学習が可能であることを、分布的モデリングの有効性を示すこと。

提案手法

• 累積割引リターンの全分布をパラメータ化された分位数関数を用いてモデル化する分布的強化学習フレームワークを導入する。
• 分布的リターンモデリングと最大エントロピー強化学習を統合し、ポリシーのエントロピーを高めることで探索を促進する。
• クライアントが分位数出力を介してリターンの分布を推定する、ソフトアクタクリティックアーキテクチャを採用し、リスクに配慮した価値推定を可能にする。
• 完全にパラメータ化された分位数関数を用いることで、条件付きリスク価値（CVaR）などの異なるリスク指標に対する柔軟な最適化を可能にする。
• 分位数回帰損失を最小化する分布的ベルマン更新を用いて、ポリシーと価値ネットワークをエンドツーエンドで学習する。
• 訓練中に分位数レベルを調整することで、リスク回避的またはリスク好好的な目的に適合したポリシーを学習可能な、リスクセンシティブな行動をサポートする。

実験結果

リサーチクエスチョン

• RQ1 分布的RLと最大エントロピーRLを組み合わせることで、連続的制御タスクにおける学習の安定性とサンプル効率が向上するか？
• RQ2 リターンの全分布をモデル化することで、期待値のみを最適化する手法と比較して、ポリシーのパフォーマンスがどのように向上するか？
• RQ3 分布的リターンモデルが、異なるリスク志向性（リスク回避的・リスク好好的など）下でのリスクセンシティブ制御をどの程度サポートできるか？
• RQ4 提案手法は、平均リターンとベンチマーク全体におけるロバスト性の両面で、最先端のアルゴリズムを上回る性能を示せるか？
• RQ5 ポリシーのエントロピーを組み込むことで、高次元の制御環境における探索性と収束性にどのような影響が生じるか？

主な発見

• DSACは、複数の連続的制御ベンチマークにおいて、最先端のベースラインと比較して優れたパフォーマンスを発揮し、安定性とサンプル効率の両面で向上を示した。
• 分布的リターンモデリングの統合により、条件付きリスク価値（CVaR）のようなリスク関連指標の最適化が効果的に行えるようになり、リスク回避的・リスク好好的行動の両方をサポートした。
• リターンの全分布をモデル化することで、エントロピー正則化によるポリシーの多様性が向上し、より良い探索と高速な収束が達成された。
• 高いリターンと低い分散の両方のパフォーマンスで一貫した改善が見られ、さまざまなリスク志向性下でもロバストであることが示された。
• 完全にパラメータ化された分位数関数の使用により、アーキテクチャの変更なしに、異なるリスク目的へのシームレスな適応が可能となった。