[論文レビュー] Recursive Optimization of Convex Risk Measures: Mean-Semideviation Models

Dionysios S. Kalogerias, Warren B. Powell|arXiv (Cornell University)|Apr 2, 2018

Risk and Portfolio Optimization参考文献 32被引用数 14

ひとこと要約

本稿では、凸な平均-分散リスク測度（平均上側分散の一般化）を最適化する再帰的・データ駆動型の確率的勾配法、MESSAGE$^p$を提案する。強い凸性のもとで、パスワイズ収束性と${\cal O}(n^{-(1-\epsilon)/2})$のサブ最適性レートを達成し、$p$の値に依存するが${\cal O}(n^{-1/2})$に限りなく近い収束速度を実現しながら安定性を保証する。

ABSTRACT

We develop recursive, data-driven, stochastic subgradient methods for optimizing a new, versatile, and application-driven class of convex risk measures, termed here as mean-semideviations, strictly generalizing the well-known and popular mean-upper-semideviation. We introduce the MESSAGEp algorithm, which is an efficient compositional subgradient procedure for iteratively solving convex mean-semideviation risk-averse problems to optimality. We analyze the asymptotic behavior of the MESSAGEp algorithm under a flexible and structure-exploiting set of problem assumptions. In particular: 1) Under appropriate stepsize rules, we establish pathwise convergence of the MESSAGEp algorithm in a strong technical sense, confirming its asymptotic consistency. 2) Assuming a strongly convex cost, we show that, for fixed semideviation order $p>1$ and for $ε\in\left[0,1 ight)$, the MESSAGEp algorithm achieves a squared-${\cal L}_{2}$ solution suboptimality rate of the order of ${\cal O}(n^{-\left(1-ε ight)/2})$ iterations, where, for $ε>0$, pathwise convergence is simultaneously guaranteed. This result establishes a rate of order arbitrarily close to ${\cal O}(n^{-1/2})$, while ensuring strongly stable pathwise operation. For $p\equiv1$, the rate order improves to ${\cal O}(n^{-2/3})$, which also suffices for pathwise convergence, and matches previous results. 3) Likewise, in the general case of a convex cost, we show that, for any $ε\in\left[0,1 ight)$, the MESSAGEp algorithm with iterate smoothing achieves an ${\cal L}_{1}$ objective suboptimality rate of the order of ${\cal O}(n^{-\left(1-ε ight)/\left(4\bf{1}_{\left\{ p>1 ight\} }+4 ight)})$ iterations. This result provides maximal rates of ${\cal O}(n^{-1/4})$, if $p\equiv1$, and ${\cal O}(n^{-1/8})$, if $p>1$, matching the state of the art, as well.

研究の動機と目的

• 凸リスク測度の広いクラス、特に平均-分散を一般化した平均-上側分散の最適化を目的とした再帰的・データ駆動型の確率的勾配法の開発。
• 柔軟で構造を活用する仮定のもとで、提案手法の漸近的パスワイズ収束性と収束速度の確立。
• 非自明な反例を構築することで、Yangら（2018）の先行研究と比較して、提案フレームワークが扱える問題クラスが厳密に大きいことを示す。
• 強い凸性と一般凸性の両設定において最適な収束速度を達成し、その依存関係を半分散の順序$ p $に明示的に示す。
• リスク回避的状況下での既存の合成的確率的最適化手法と比較して、収束特性と問題範囲の両面で提案フレームワークの優位性を正当化する。

提案手法

• 凸な平均-分散リスク-回避的最適化問題の反復的最適化を目的とした、合成的確率的勾配手順であるMESSAGE$^p$アルゴリズムを提案する。
• リスク測度の確率的勾配を組み合わせた再帰的・データ駆動型フレームワークを、合成最適化設定で活用する。
• ランダムコストの拡張性と平均-分散測度の滑らかさのバランスを取る構造的仮定に基づく、新規の解析フレームワークを導入する。
• 一般凸コストの場合に反復値のスムージングを用い、${\cal L}_1$目的関数サブ最適性レート${\cal O}(n^{-(1-\epsilon)/(4\mathds{1}_{\{p>1\}}+4)})$を達成する。
• パスワイズ収束性と最適なレートバウンドを保証するため、パrameters $\tau_2$ と $\tau_3$ を適切に設計したステップサイズルールを適用する。
• 再帰的不等式とChungの補題の一般化に基づく境界を用い、反復誤差の期待二乗ノルムの精密な解析により収束性を確立する。

実験結果

リサーチクエスチョン

• RQ1 平均上側分散を一般化したより広いクラスの凸平均-分散リスク測度を最適化する再帰的・データ駆動型の確率的勾配法を構築できるか？
• RQ2 強い凸性と一般凸性の仮定のもとで、このような手法が達成できる収束速度は何か？また、その速度は半分散の順序$ p $にどのように依存するか？
• RQ3 提案手法の収束特性は、T-SCGDアルゴリズム（Yangら、2018）と比較して、問題範囲と安定性の面でどのように異なるか？
• RQ4 提案フレームワークが、先行の最先端手法よりも厳密に大きなリスク回避的最適化問題のクラスを扱えることを示せるか？
• RQ5 収束速度を決定づける要因として、ランダムコストの拡張性とリスク測度の滑らかさの間のトレードオフは、どのように定式化できるか？

主な発見

• 適切なステップサイズルールのもとで、MESSAGE$^p$アルゴリズムはパスワイズ収束性を達成し、強い技術的意味での漸近的一貫性を裏付ける。
• 強い凸性のもとで固定された$ p>1 $に対して、${\cal L}_2$解サブ最適性レートが${\cal O}(n^{-(1-\epsilon)/2})$に達し、安定なパスワイズ動作を保証しながら${\cal O}(n^{-1/2})$に限りなく近づける。
• $ p \equiv 1 $の場合、レートは${\cal O}(n^{-2/3})$に向上し、パスワイズ収束に十分であり、先行研究の結果と一致する。
• 一般凸コストの場合に反復値スムージングを適用すると、${\cal L}_1$目的関数サブ最適性レートが${\cal O}(n^{-(1-\epsilon)/(4\mathds{1}_{\{p>1\}}+4)})$に達し、$ p \equiv 1 $では${\cal O}(n^{-1/4})$、$ p > 1 $では${\cal O}(n^{-1/8})$を達成する。これは最先端水準に一致する。
• 非自明な反例により、T-SCGDアルゴリズム（Yangら、2018）と比較して、提案フレームワークがより広い平均-分散問題のクラスを扱えることが示された。
• 解析により、ランダムコストの拡張性とリスク測度の滑らかさの間の明確なトレードオフが明らかとなり、収束速度はこのバランスに依存することが判明した。