[論文レビュー] Parametric Return Density Estimation for Reinforcement Learning

Tetsuro Morimura, Masashi Sugiyama+3 more|arXiv (Cornell University)|Mar 15, 2012

Evolutionary Algorithms and Applications参考文献 17被引用数 41

ひとこと要約

本稿では、強化学習におけるリターンの確率密度を推定するパrametric手法を提案し、ベルマン方程式を拡張して条件付きリターン密度をモデル化する。ガウス分布、ラプラス分布、歪んだラプラス分布を用いることで、一般化TD学習アルゴリズムを通じてリスクセンシティブでロバストな強化学習を実現する。数値実験により、リスク認識基準下での性能向上が確認された。

ABSTRACT

Most conventional Reinforcement Learning (RL) algorithms aim to optimize decision-making rules in terms of the expected returns. However, especially for risk management purposes, other risk-sensitive criteria such as the value-at-risk or the expected shortfall are sometimes preferred in real applications. Here, we describe a parametric method for estimating density of the returns, which allows us to handle various criteria in a unified manner. We first extend the Bellman equation for the conditional expected return to cover a conditional probability density of the returns. Then we derive an extension of the TD-learning algorithm for estimating the return densities in an unknown environment. As test instances, several parametric density estimation algorithms are presented for the Gaussian, Laplace, and skewed Laplace distributions. We show that these algorithms lead to risk-sensitive as well as robust RL paradigms through numerical experiments.

研究の動機と目的

• 従来の強化学習アルゴリズムが期待リターンのみ最適化するという限界に対処すること。これはリスクセンシティブな応用には不十分である可能性がある。
• リターンの全密度を推定する統一的なフレームワークを構築し、さまざまなリスクセンシティブな性能基準の利用を可能にすること。
• 未知の環境におけるリターンの条件付き確率密度を扱えるよう、ベルマン方程式とTD学習を拡張すること。
• 強化学習に適用可能な特定の分布（ガウス分布、ラプラス分布、歪んだラプラス分布）に対する実用的なパラメトリック密度推定アルゴリズムを設計すること。
• 数値実験を通じて、提案手法がロバストかつリスクセンシティブな意思決定を達成できることを示すこと。

提案手法

• 期待リターンの代わりに、リターンの条件付き確率密度をモデル化できるように、標準のベルマン方程式を拡張する。
• 時系列差分誤差に基づいてパラメトリックなリターン密度モデルのパラメータを更新する一般化TD学習アルゴリズムを導出する。
• ガウス分布、ラプラス分布、歪んだラプラス分布といったパラメトリック族を用いてリターン密度を表現し、効率的かつ扱いやすい学習を可能にする。
• 拡張されたベルマン方程式から導かれる密度推定損失を最小化するパラメータ更新ルールを定式化する。
• 未知の環境で動作するモデルフリーかつオフポリシー設定において、リターン密度を推定する。
• 推定されたリターン密度を用いて、バリューオブリスクや期待ショートフォールといったリスクセンシティブな指標を計算する。

実験結果

リサーチクエスチョン

• RQ1 ガウス分布、ラプラス分布、歪んだラプラス分布といったパラメトリック分布を用いて、強化学習におけるリターン密度を効果的にモデル化できるか？
• RQ2 ベルマン方程式は、リターンの条件付き密度推定をサポートするためにどのように一般化できるか？
• RQ3 提案されたTD学習の拡張は、未知の環境において安定的かつ正確にリターン密度を推定できるか？
• RQ4 この手法は、リスクセンシティブおよびロバストな強化学習基準下で、どの程度性能を向上させるか？
• RQ5 リターン密度の異なるパラメトリック形式は、得られる方策のロバスト性およびリスクセンシティブ性にどのように影響を与えるか？

主な発見

• 提案手法は、TD学習をリターンの全密度を推定できるように拡張し、強化学習におけるリスクセンシティブ制御を可能にした。
• 数値実験により、バリューオブリスクや期待ショートフォールといったリスク認識基準下でも、性能が向上することが示された。
• 歪んだラプラス分布の使用により、ガウス分布や標準ラプラス分布に比べて、裾が重く非対称なリターン分布のモデリングに優れた柔軟性が得られた。
• パラメトリック密度推定フレームワークにより、単一の学習アルゴリズム内でさまざまなリスクセンシティブな性能指標を統合的に取り扱えるようになった。
• 分布のシフトに対してもロバストであり、期待リターンに基づく従来の強化学習よりも、リスクセンシティブな環境で優れた性能を示した。
• 追加のロールアウトや複雑なサンプリング手順を必要とせず、リスク指標の効率的計算が可能になった。