[論文レビュー] Cumulative Prospect Theory Meets Reinforcement Learning: Prediction and Control

L. A. Prashanth, Jie Cheng+3 more|arXiv (Cornell University)|Jun 8, 2015

Traffic control and management参考文献 52被引用数 47

ひとこと要約

本稿では、シミュレーションに基づく確率的近似を用いたCPTに基づく価値推定および最適化フレームワークを提案することで、累積的プロスペクト理論（CPT）を強化学習に統合する。分布推定方式とSPSAに基づくアルゴリズムを導入し、理論的収束保証を備え、交通信号最適化を含むリスクセンシティブ制御タスクで優れた性能を示す。

ABSTRACT

Cumulative prospect theory (CPT) is known to model human decisions well, with substantial empirical evidence supporting this claim. CPT works by distorting probabilities and is more general than the classic expected utility and coherent risk measures. We bring this idea to a risk-sensitive reinforcement learning (RL) setting and design algorithms for both estimation and control. The RL setting presents two particular challenges when CPT is applied: estimating the CPT objective requires estimations of the entire distribution of the value function and finding a randomized optimal policy. The estimation scheme that we propose uses the empirical distribution to estimate the CPT-value of a random variable. We then use this scheme in the inner loop of a CPT-value optimization procedure that is based on the well-known simulation optimization idea of simultaneous perturbation stochastic approximation (SPSA). We provide theoretical convergence guarantees for all the proposed algorithms and also illustrate the usefulness of CPT-based criteria in a traffic signal control application.

研究の動機と目的

• 不確実性下での人間の意思決定を確率の歪みでモデル化する累積的プロスペクト理論（CPT）を組み込むことで、強化学習をリスクセンシティブな設定に拡張すること。
• 強化学習における確率変数のCPT価値を推定する課題に取り組むこと。これは期待値の推定ではなく、分布全体の推定を必要とする。
• 確率的最適方策の必要性を扱うCPTに基づく制御のための実用的なアルゴリズムフレームワークを開発すること。
• CPT基準における価値推定および方策最適化の両者に対して理論的収束保証を提供すること。
• CPTに基づく強化学習の実世界への応用における実証的有用性を示すこと。具体的には、交通信号制御などの応用を想定。

提案手法

• リターンの経験的分布を用いて、確率変数のCPT価値を推定し、強化学習における分布推定を可能にする。
• 内側のループで同時摂動確率的近似（SPSA）を適用し、勾配フリーな方策学習を可能にするCPT目的関数の最適化を実施する。
• 二段階最適化手順を設計する：内側のループでは経験的分布を用いてCPT価値を推定し、外側のループではSPSAを用いて方策パラメータを更新する。
• CPTに内在する非線形な確率重み付けを捉えるために、確率的方策表現を設計する。
• CPT目的関数の非凸的かつ非滑らかさを扱うために、シミュレーションベースのアプローチを採用する。
• やや弱い正則性条件のもとで、価値推定および方策最適化プロセスの両者に対する理論的収束証明を提供する。

実験結果

リサーチクエスチョン

• RQ1 累積的プロスペクト理論は、リスクセンシティブ意思決定のための強化学習に効果的に適用可能か？
• RQ2 限られたデータのもとで、分布的強化学習設定において確率変数のCPT価値をどのように推定できるか？
• RQ3 確率的かつ非滑らかな環境において、CPT目的関数を最大化するのに適した最適化アルゴリズムは何か？
• RQ4 実世界の制御タスクにおいて、CPTに基づく強化学習は、標準的な期待効用強化学習と比べて性能およびロバストネスで優れているか？
• RQ5 強化学習におけるCPTに基づく価値推定および方策最適化に対して、どのような理論的保証を確立できるか？

主な発見

• 経験的分布に基づく提案されたCPT価値推定方式は、シミュレーションにおいてCPT目的関数の一貫性および安定性のある推定を達成する。
• SPSAに基づく最適化アルゴリズムは、標準的な仮定のもとでCPT目的関数の停留点に収束し、理論的保証を有する。
• 本手法は、CPTの確率重み付け効果を反映する確率的方策を効果的に学習でき、リスクセンシティブな行動を可能にする。
• 交通信号制御の応用において、CPTに基づく強化学習は、平均遅延の低減および交通の変動に対するロバストネス向上という点で、標準的な期待効用強化学習を上回る。
• アルゴリズムは実世界の制御シナリオにおいて実用的かつ有効であることが示され、CPTがリスクセンシティブな強化学習において実用的であることを裏付けた。