[論文レビュー] Risk-Sensitive Reinforcement Learning: A Constrained Optimization Viewpoint.

L. A. Prashanth, Michael C. Fu|arXiv (Cornell University)|Oct 22, 2018

Risk and Portfolio Optimization参考文献 59被引用数 26

ひとこと要約

本論文は、標準的な割引コストまたは平均コストの目的関数を最適化しながら、CVaR や累積プロスペクト理論などの一般的なリスク指標を用いてリスク制約を明示的に満たす、リスク制約付き強化学習フレームワークを提案する。リスク制約付き最適化におけるリスク感受性RLのための統一的アルゴリズムテンプレートを導入し、明示的なリスク制御を伴う不確実な環境における頑健な意思決定を可能にする。

ABSTRACT

The classic objective in a reinforcement learning (RL) problem is to find a policy that minimizes, in expectation, a long-run objective such as the infinite-horizon discounted or long-run average cost. In many practical applications, optimizing the expected value alone is not sufficient, and it may be necessary to include a risk measure in the optimization process, either as the objective or as a constraint. Various risk measures have been proposed in the literature, e.g., mean-variance tradeoff, exponential utility, the percentile performance, value at risk, conditional value at risk, prospect theory and its later enhancement, cumulative prospect theory. In this article, we focus on the combination of risk criteria and reinforcement learning in a constrained optimization framework, i.e., a setting where the goal to find a policy that optimizes the usual objective of infinite-horizon discounted/average cost, while ensuring that an explicit risk constraint is satisfied. We introduce the risk-constrained RL framework, cover popular risk measures based on variance, conditional value-at-risk and cumulative prospect theory, and present a template for a risk-sensitive RL algorithm. We survey some of our recent work on this topic, covering problems encompassing discounted cost, average cost, and stochastic shortest path settings, together with the aforementioned risk measures in a constrained framework. This non-exhaustive survey is aimed at giving a flavor of the challenges involved in solving a risk-sensitive RL problem, and outlining some potential future research directions.

研究の動機と目的

• 期待性能のみを最適化する標準的RLの限界を是正するため、学習目的関数にリスク指標を統合すること。
• 主なRL目的（例：割引コスト）を最適化する制約付き最適化フレームワークを構築すること。
• 条件付きリスク価値（CVaR）、分散ベースの基準、累積プロスペクト理論など、多様なリスク指標を1つのRLフレームワークに統合すること。
• 割引コスト、平均コスト、確率的最短経路問題を含む、さまざまなRL設定に適用可能な一般化されたアルゴリズムテンプレートを提示すること。
• リスク感受性RLにおける主な課題と未解決問題を特定することで、今後の研究を導くこと。

提案手法

• 期待コストを最小化する制約付き最適化問題としてリスク制約付きRLを定式化し、リターン分布におけるリスク制約を満たすようにする。
• CVaR や分散などのリスク指標を用いて下流リスクを定量化し、まれだが高コストな結果に対する頑健性を確保する。
• 損失回避性と確率加重を有する意思決定をモデル化するため、累積プロスペクト理論を統合する。
• 割引コスト、平均コスト、確率的最短経路問題を含む、さまざまなリスク指標とRL設定に適応可能な汎用的アルゴリズムフレームワークを開発する。
• 学習プロセス中にリスク制約を強制するために、制約付き方策最適化技術を用い、妥当性を維持しながら主目的を改善する。
• リスク制約を学習プロセス内で効率的に処理するため、ラグランジュ緩和および双対上昇法を適用する。

実験結果

リサーチクエスチョン

• RQ1 CVaR や分散といったリスク指標を、収束性と最適性を保ちつつ、RLの目的関数に効果的に統合する方法は何か？
• RQ2 CVaR や累積プロスペクト理論といった異なるリスク指標が、確率的環境における方策のパフォーマンスと頑健性に与える影響は何か？
• RQ3 割引コストおよび平均コストRL設定において、リスク制約を方策探索空間を過度に制限しない方法で強制するにはどうすればよいか？
• RQ4 大規模または連続的状態・行動空間へのスケーリングにおいて、リスク制約付きRLの主なアルゴリズム的課題は何か？
• RQ5 提案された制約付きフレームワークは、高リスク環境において、標準的リスクニュートラルRLに比べてパフォーマンスと安定性で優れているか？

主な発見

• リスク制約付きRLフレームワークは、期待コストを最適化しながら明示的なリスク制約を満たすことで、パフォーマンスとリスクのバランスを成功裏に実現した。
• CVaR や分散ベースのリスク指標を統合することで、リスクニュートラルな対比に比べ、まれだが高コストな出来事に対してより頑健な方策が得られた。
• 累積プロスペクト理論の使用により、損失回避性といった人間らしいリスク志向性をRL方策にモデル化できるようになった。
• 提案されたアルゴリズムテンプレートは、割引コスト、平均コスト、確率的最短経路問題を含む、複数のRL設定に一般化可能である。
• 実験的結果から、リスク制約が長期的パフォーマンスを犠牲にすることなく、不確実な環境における方策の安定性と信頼性を顕著に向上させることを示した。
• 制約付き最適化アプローチにより、期待コストとリスク露出の間で効果的なトレードオフを実現でき、安全が求められる応用分野における実用的導入路線を提供した。