[論文レビュー] Stochastic Approximation for Risk-aware Markov Decision Processes

Wenjie Huang, William B. Haskell|arXiv (Cornell University)|May 11, 2018

Risk and Portfolio Optimization参考文献 77被引用数 6

ひとこと要約

本稿では、Q学習とサドルポイント部分問題を用いてリスク測度を計算することで、無限ホライズンのリスク感受性マルコフ決定過程（MDP）を解く二重ループの確率的近似アルゴリズムを提案する。確率1収束を確立し、確率 $1-\delta$ において $\Omega\left((\ln(1/\delta\epsilon)/\epsilon^{2})^{1/k}+(\ln(1/\epsilon))^{1/(1-k)}\right)$ の収束速度を示しており、CVaR や最適化された確実性同等（OCE）といった広く用いられるリスク測度をカバーする。

ABSTRACT

We develop a stochastic approximation-type algorithm to solve finite state/action, infinite-horizon, risk-aware Markov decision processes. Our algorithm has two loops. The inner loop computes the risk by solving a stochastic saddle-point problem. The outer loop performs $Q$-learning to compute an optimal risk-aware policy. Several widely investigated risk measures (e.g. conditional value-at-risk, optimized certainty equivalent, and absolute semi-deviation) are covered by our algorithm. Almost sure convergence and the convergence rate of the algorithm are established. For an error tolerance $ε>0$ for the optimal $Q$-value estimation gap and learning rate $k\in(1/2,\,1]$, the overall convergence rate of our algorithm is $Ω((\ln(1/δε)/ε^{2})^{1/k}+(\ln(1/ε))^{1/(1-k)})$ with probability at least $1-δ$.

研究の動機と目的

• 真の遷移ダイナミクスとコスト関数が未知である状況において、モデルフリーの強化学習アルゴリズムを開発すること。
• 確率的近似をQ学習と統合し、観測された軌跡のみを用いてリスク感受性ポリシーを計算すること。
• 条件付きリスク価値（CVaR）、最適化された確実性同等（OCE）、絶対的半標準偏差を含む、広範なリスク測度クラスをサポートすること。
• ほぼ確実な収束を確立し、提案されたアルゴリズムの有限標本収束速度を導出すること。
• リスク評価とポリシー最適化を一度のスケーラブルな学習プロセスで統合する包括的なフレームワークを提供すること。

提案手法

• アルゴリズムは二重ループ構造を採用：内側のループはリスク測度の推定を目的とした確率的サドルポイント問題を解き、外側のループはリスク感受性ポリシーの最適化を実行するQ学習を実行する。
• リスク評価は、一貫性のあるリスク測度の双対表現を用いることで実現され、推定に確率的近似が利用可能になる。
• 学習率 $k \in (1/2, 1]$ を用い、サンプルされた軌跡に基づく再帰的更新によりQ値関数を推定する。
• 制御されたノイズとマルティンゲール差分列を用いた確率的近似フレームワークを採用し、収束を保証する。
• 収束解析は、代数的不等式とリャプノフ型の議論を用いて、リスク推定誤差とQ値更新誤差の両方をバインドすることに依存する。
• この手法は、CVaR や OCE を含む、任意の法に依存しない一貫性のあるリスク測度を、その凸共役表現を通じて扱えるほど一般性を持つ。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーな設定において、無限ホライズンのリスク感受性MDPを解くために、確率的近似に基づくアルゴリズムを設計できるか？
• RQ2 CVaR や OCE といったリスク測度を、Q学習フレームワークに効率的に推定・統合する方法は何か？
• RQ3 一般条件下で、このようなリスク感受性Q学習アルゴリズムの収束速度はどの程度か？
• RQ4 広範なリスク測度クラスに対して、ほぼ確実な収束を達成すると同時に、有限標本レートを維持できるか？
• RQ5 学習率 $k$ は、収束速度と誤差許容度のトレードオフにどのように影響するか？

主な発見

• やや弱い正則性条件の下で、アルゴリズムは最適なリスク感受性Q値関数へほぼ確実に収束する。
• 誤差許容度 $\epsilon > 0$ と学習率 $k \in (1/2, 1]$ の下で、確率 $1 - \delta$ において収束速度は $\Omega\left((\ln(1/\delta\epsilon)/\epsilon^{2})^{1/k} + (\ln(1/\epsilon))^{1/(1-k)}\right)$ である。
• CVaR、OCE、絶対的半標準偏差を含む、広範なリスク測度クラスを、それらの凸共役表現を通じてサポートする。
• 収束速度は、リスク推定誤差とQ値更新誤差の両方のバインドを組み合わせた、再帰的確率的更新の新しい解析によって導出される。
• 線形学習率の場合（$k=1$）、標本複雑度は $N = \Omega\left(\frac{C_G + (\gamma f(t))^2}{\tilde{\varepsilon}}\right)$ であり、$\mathbb{E}[\|Q_N - Q^*\|_2^2] \leq \tilde{\varepsilon}$ を達成する。
• 解析により、リスク推定とポリシー更新ステップが確率的フィードバックによって結合されていても、アルゴリズムが安定性と収束性を維持することが示された。