[논문 리뷰] Recursive Optimization of Convex Risk Measures: Mean-Semideviation Models

Dionysios S. Kalogerias, Warren B. Powell|arXiv (Cornell University)|2018. 04. 02.

Risk and Portfolio Optimization참고 문헌 32인용 수 14

한 줄 요약

이 논문은 볼록 평균-분산편차 위험 측도를 최적화하기 위한 재귀적이고 데이터 기반인 확률적 하향도수법인 MESSAGE$^p$ 알고리즘을 제안한다. 이는 평균-상부분산편차를 일반화한 것으로, 강한 볼록 비용 조건 하에서 경로 기반 수렴성과 하위최적성 속도 ${\cal O}(n^{-(1-\epsilon)/2})$를 달성하며, 안정성을 확보하면서도 ${\cal O}(n^{-1/2})$에 매우 가까운 속도를 얻을 수 있다.

ABSTRACT

We develop recursive, data-driven, stochastic subgradient methods for optimizing a new, versatile, and application-driven class of convex risk measures, termed here as mean-semideviations, strictly generalizing the well-known and popular mean-upper-semideviation. We introduce the MESSAGEp algorithm, which is an efficient compositional subgradient procedure for iteratively solving convex mean-semideviation risk-averse problems to optimality. We analyze the asymptotic behavior of the MESSAGEp algorithm under a flexible and structure-exploiting set of problem assumptions. In particular: 1) Under appropriate stepsize rules, we establish pathwise convergence of the MESSAGEp algorithm in a strong technical sense, confirming its asymptotic consistency. 2) Assuming a strongly convex cost, we show that, for fixed semideviation order $p>1$ and for $ε\in\left[0,1 ight)$, the MESSAGEp algorithm achieves a squared-${\cal L}_{2}$ solution suboptimality rate of the order of ${\cal O}(n^{-\left(1-ε ight)/2})$ iterations, where, for $ε>0$, pathwise convergence is simultaneously guaranteed. This result establishes a rate of order arbitrarily close to ${\cal O}(n^{-1/2})$, while ensuring strongly stable pathwise operation. For $p\equiv1$, the rate order improves to ${\cal O}(n^{-2/3})$, which also suffices for pathwise convergence, and matches previous results. 3) Likewise, in the general case of a convex cost, we show that, for any $ε\in\left[0,1 ight)$, the MESSAGEp algorithm with iterate smoothing achieves an ${\cal L}_{1}$ objective suboptimality rate of the order of ${\cal O}(n^{-\left(1-ε ight)/\left(4\bf{1}_{\left\{ p>1 ight\} }+4 ight)})$ iterations. This result provides maximal rates of ${\cal O}(n^{-1/4})$, if $p\equiv1$, and ${\cal O}(n^{-1/8})$, if $p>1$, matching the state of the art, as well.

연구 동기 및 목표

• 볼록 위험 측도의 광범위한 클래스, 특히 평균-분산편차를 일반화한 평균-상부분산편차를 최적화하기 위한 재귀적이고 데이터 기반인 확률적 하향도수법을 개발하는 것.
• 구조적이고 유연한 가정 하에서 제안된 알고리즘의 점근적 경로 기반 수렴성과 수렴 속도를 확립하는 것.
• 비틀림이 없는 비트리비어 예제를 통해 기존 연구(예: Yang 등, 2018)보다 더 넓은 문제 범위를 지원함을 보여주는 것.
• 강한 볼록 비용 및 일반 볼록 비용 설정 모두에서 최적의 수렴 속도를 달성하며, 분산편차 순서 $p$에 대한 명시적 의존성을 확보하는 것.
• 기존의 복합적 확률적 최적화 방법과 비교하여 위험 회피 설정에서 수렴 특성과 문제 범위 측면에서 제안된 프레임워크의 우수성을 정당화하는 것.

제안 방법

• 제안된 프레임워크는 볼록 평균-분산편차 위험 회피 문제의 반복 최적화를 위한 복합적 확률적 하향도수법인 MESSAGE$^p$ 알고리즘을 제안한다.
• 복합 최적화 설정에서 위험 측도의 확률적 하향도수를 활용하는 재귀적이고 데이터 기반의 프레임워크를 적용한다.
• 랜덤 비용의 확장성과 평균-분산편차 측도의 매끄러움 사이의 균형을 고려한 구조적 가정 기반의 새로운 분석 프레임워크를 도입한다.
• 일반 볼록 비용 케이스에서는 반복값 스무딩을 사용하여 ${\cal L}_1$ 목표 하위최적성 속도 ${\cal O}(n^{-(1-\epsilon)/(4\mathds{1}_{\{p>1\}}+4)})$를 달성한다.
• 경로 기반 수렴성과 최적의 속도 경계를 확보하기 위해 $\tau_2$와 $\tau_3$ 매개변수를 정교하게 설계한 스텝 사이즈 규칙을 적용한다.
• 재귀 부등식과 찬의 보조정리 일반화를 활용한 기대 제곱 노름 오차 분석을 통해 수렴성을 확립한다.

실험 결과

연구 질문

• RQ1 평균-상부분산편차를 초월하여 더 넓은 범위의 볼록 평균-분산편차 위험 측도를 최적화하기 위한 재귀적이고 데이터 기반인 확률적 하향도수법을 개발할 수 있는가?
• RQ2 강한 볼록 비용과 일반 볼록 비용 조건 하에서 이러한 방법이 달성할 수 있는 수렴 속도는 무엇이며, 이는 분산편차 순서 $p$에 어떻게 의존하는가?
• RQ3 제안된 알고리즘의 수렴 행동은 Yang 등(2018)의 T-SCGD 알고리즘과 비교해 문제 범위와 안정성 측면에서 어떻게 다른가?
• RQ4 기존 최첨단 방법보다 더 넓은 위험 회피 최적화 문제의 클래스를 지원할 수 있음을 입증할 수 있는가?
• RQ5 수렴 속도를 결정하는 데 있어 랜덤 비용의 확장성과 위험 측도의 매끄러움 사이의 상호 보완적 관계는 무엇인가?

주요 결과

• 적절한 스텝 사이즈 규칙 하에서 MESSAGE$^p$ 알고리즘은 경로 기반 수렴성을 확보하여 강력한 기술적 의미에서 점근적 일致성을 입증한다.
• 강한 볼록 비용과 고정된 $p>1$ 조건 하에서 알고리즘은 ${\cal L}_2$ 해 하위최적성 속도 ${\cal O}(n^{-(1-\epsilon)/2})$를 달성하며, 안정적인 경로 기반 작동을 확보하면서도 ${\cal O}(n^{-1/2})$에 매우 가까운 속도를 얻을 수 있다.
• $p \equiv 1$인 경우 속도는 ${\cal O}(n^{-2/3})$로 향상되며, 이는 경로 기반 수렴에 충분하고 이전 결과와 일치한다.
• 일반 볼록 비용 케이스에서 반복값 스무딩을 적용한 결과, ${\cal L}_1$ 목표 하위최적성 속도 ${\cal O}(n^{-(1-\epsilon)/(4\mathds{1}_{\{p>1\}}+4)})$를 달성하며, $p \equiv 1$일 경우 ${\cal O}(n^{-1/4})$, $p > 1$일 경우 ${\cal O}(n^{-1/8})$를 기록하여 최첨단 성능을 달성한다.
• 비틀림이 없는 비트리비어 예제를 통해 T-SCGD 알고리즘(Yang 등, 2018)보다 더 넓은 평균-분산편차 문제의 클래스를 지원함을 입증한다.
• 분석 결과, 랜덤 비용의 확장성과 위험 측도의 매끄러움 사이에 명확한 상호 보완적 관계가 존재하며, 이 균형이 수렴 속도에 영향을 준다는 것이 드러났다.