[논문 리뷰] A Stochastic Primal-Dual Method for Optimization with Conditional Value at Risk Constraints

Avinash N. Madavan, Subhonmesh Bose|arXiv (Cornell University)|2019. 08. 02.

Risk and Portfolio Optimization참고 문헌 43인용 수 3

한 줄 요약

이 논문은 조건부가치의위험(CVaR)을 위험 측도로 사용하여 위험 제약이 있는 최적화 문제를 위한 확률적 원본-쌍대 하향 기울기 방법을 제안한다. 알고리즘은 i.i.d. 표본을 온라인으로 처리하며, 일정한 단계 크기를 사용하여 K 반복 이내에 η/√K-근사 타당성과 최적성에 도달한다. 이는 표준 원본-쌍대 방법에 대한 단순한 수정을 통해 사전에 쌍대 변수의 범위를 고려하지 않아도 된다는 점에서 특징이다.

ABSTRACT

We study a first-order primal-dual subgradient method to optimize risk-constrained risk-penalized optimization problems, where risk is modeled via the popular conditional value at risk (CVaR) measure. The algorithm processes independent and identically distributed samples from the underlying uncertainty in an online fashion, and produces an $\eta/\sqrt{K}$-approximately feasible and $\eta/\sqrt{K}$-approximately optimal point within $K$ iterations with constant step-size, where $\eta$ increases with tunable risk-parameters of CVaR. We find optimized step sizes using our bounds and precisely characterize the computational cost of risk aversion as revealed by the growth in $\eta$. Our proposed algorithm makes a simple modification to a typical primal-dual stochastic subgradient algorithm. With this mild change, our analysis surprisingly obviates the need for a priori bounds or complex adaptive bounding schemes for dual variables assumed in many prior works. We also draw interesting parallels in sample complexity with that for chance-constrained programs derived in the literature with a very different solution architecture.

연구 동기 및 목표

• 기본 분포가 알려져 있거나 계산이 불가능한 경우 위험 민감도 최적화 문제를 해결하는 데 있어 계산적 과제를 해결한다.
• 대규모 또는 스트리밍 데이터 환경에 적합한 온라인 방식으로 순차적으로 표본을 처리할 수 있는 일阶 확률적 알고리즘을 개발한다.
• CVaR 기반 위험 측도 하에서 하위최적성과 제약 위반에 대한 유한 샘플 수렴 보장을 제공한다.
• 이전 연구에서 일반적으로 요구되던 사전에 이중 변수의 범위나 복잡한 적응형 경계 설정 기법이 필요 없도록 한다.
• 위험 회피의 계산 비용을 매개변수 η의 증가율을 통해 특성화한다.

제안 방법

• 표준 원본-쌍대 확률적 하향 기울기 방법을 변형하여, 이중 변수의 사전 지식이 없이도 CVaR 제약을 처리할 수 있도록 이중 업데이트 규칙을 수정한다.
• CVaR의 변동 특성 표현을 활용한다: CVaRδ[yω] = min_u {u + 1/(1−δ) E[(yω − u)+]}, 이를 통해 샘플링을 통한 하향 기울기 계산이 가능해진다.
• 원본-쌍대 업데이트에 일정한 단계 크기를 적용하며, 이는 확률적이고 온라인 설정에 맞게 조정된 수렴 분석을 제공한다.
• 수렴 안정성 향상과 분산 감소를 위해 원본 반복값의 에르고딕 평균( x̄K = 1/K ∑_{j=1}^K xj )을 활용한다.
• 유한 샘플에 대한 경험 평균을 사용하여 CVaR 값을 수치적으로 추정함으로써, 명시적인 분포 지식 없이도 구현이 가능하게 한다.
• 하위최적성 및 타당성에 대한 이론적 상한을 사용하여 단계 크기와 반복 횟수를 최적화하여, K* 및 γ*에 대한 명시적 표현을 도출한다.

실험 결과

연구 질문

• RQ1 사전에 이중 변수의 범위를 요구하지 않고도, CVaR 제약 최적화에 대해 유한 샘플 수렴 보장을 갖는 확률적 원본-쌍대 방법이 가능할 수 있는가?
• RQ2 CVaR에서 위험 회피 매개변수 α와 β가 증가함에 따라 위험 회피의 계산 비용은 어떻게 변화하는가?
• RQ3 확률적 설정에서 ε-근사 최적성과 타당성을 달성하기 위한 표본 및 반복 복잡도는 어떻게 되는가?
• RQ4 제안된 알고리즘이 표준 자코비 유형의 이중 업데이트에 비해 수렴성과 표본 효율성 측면에서 어떻게 비교되는가?
• RQ5 수렴 속도에 대한 이론적 상한이 수치 실험에서 실제 성능을 얼마나 잘 반영하는가?

주요 결과

• K 반복 후 기대값 기준으로 η/√K-근사 최적성과 타당성이 달성되며, η는 위험 회피 매개변수 α와 β에 따라 증가한다.
• 제안된 방법은 복잡한 이중 변수 경계 설정 기법이 필요 없음을 제거하여 이전 접근법에 비해 상당한 단순화를 이룬다.
• α = 0.3 및 β = 0.2인 단순 예제에서 최적화된 반복 횟수 K*는 높았지만(1000 이상), 이론적 상한에 의해 예측된 것보다 빨리 ε = 5×10⁻³의 정밀도 기준을 충족시켰다.
• 수치 결과는 원본 반복값의 에르고딕 평균이 부드럽게 수렴하며, 여러 표본 경로에 걸쳐 하위최적성과 타당성에 대한 ε 기준을 잘 준수함을 보여준다.
• 업데이트된 원본 반복값을 사용하는 가우스-세이델 이중 업데이트와 이전 원본 반복값을 사용하는 자코비 유형 업데이트는 거의 동일한 수렴 행동을 보였지만, 후자는 반복당 사용하는 표본 수가 절반으로 줄어들었다.
• 제안된 방법의 표본 복잡도는 서로 다른 알고리즘 아키텍처를 가졌음에도 불구하고, 확률적 제약 프로그램과 흥미로운 유사성을 보였다.