[논문 리뷰] Online Stochastic Convex Optimization: Wasserstein Distance Variation

Iman Shames, Farhad Farokhi|arXiv (Cornell University)|2020. 06. 02.

Risk and Portfolio Optimization참고 문헌 34인용 수 5

한 줄 요약

이 논문은 시간에 따라 변화하는 확률 분포 하에서 확률적 볼록 최적화를 위한 온라인 프록시멀-그래디언트 방법을 제안하며, 분포 이탈을 모델링하기 위해 워샤프스키 거리를 사용한다. 강한 볼록성, 리프시츠 연속 기울기, 유계 워샤프스키 이탈 조건 하에서 동적 리그레트 경계를 확립하며, 온라인 구현의 계산 가능성을 향상시키기 위해 정확한 페널티 방법을 도입한다.

ABSTRACT

Distributionally-robust optimization is often studied for a fixed set of distributions rather than time-varying distributions that can drift significantly over time (which is, for instance, the case in finance and sociology due to underlying expansion of economy and evolution of demographics). This motivates understanding conditions on probability distributions, using the Wasserstein distance, that can be used to model time-varying environments. We can then use these conditions in conjunction with online stochastic optimization to adapt the decisions. We considers an online proximal-gradient method to track the minimizers of expectations of smooth convex functions parameterised by a random variable whose probability distributions continuously evolve over time at a rate similar to that of the rate at which the decision maker acts. We revisit the concepts of estimation and tracking error inspired by systems and control literature and provide bounds for them under strong convexity, Lipschitzness of the gradient, and bounds on the probability distribution drift. Further, noting that computing projections for a general feasible sets might not be amenable to online implementation (due to computational constraints), we propose an exact penalty method. Doing so allows us to relax the uniform boundedness of the gradient and establish dynamic regret bounds for tracking and estimation error. We further introduce a constraint-tightening approach and relate the amount of tightening to the probability of satisfying the constraints.

연구 동기 및 목표

• 시간에 따라 변화하는 환경에서 확률 분포가 시간에 따라 이탈하는 온라인 확률적 볼록 최적화 문제를 다루기 위해, 특히 금융 및 사회학 분야의 적용을 고려한다.
• 워샤프스키 거리를 사용하여 분포 이탈을 모델링함으로써, 유계 불확실성 집합을 가정하지 않고도 변화하는 데이터 분포에 대한 강건성을 확보한다.
• 분포 이탈이 발생하더라도 기대 비용 함수의 최소화점을 추적할 수 있는 온라인 프록시멀-그래디언트 알고리즘을 개발한다.
• 일반적인 제약 집합에 대한 적용 가능성을 높이기 위해, 균일하게 유계인 기울기 조건을 완화하기 위해 정확한 페널티 방법을 도입한다.
• 강한 볼록성 및 리프시츠 기울기 조건 하에서 추적 오차 및 추정 오차, 동적 리그레트에 대한 이론적 경계를 제공한다.

제안 방법

• 시간에 따라 변화하는 확률 분포의 변화율을 측정하기 위해 워샤프스키 거리를 사용하여 온라인 설정에서의 이탈을 모델링한다.
• 부드러운 볼록 함수의 기대값 최소화점을 시간에 따라 추적하기 위해 온라인 프록시멀-그래디언트 방법을 적용한다.
• 투영 기반 제약 조건을 대체하기 위해 정확한 페널티 방법을 도입하여 균일한 기울기 유계 조건을 완화한다.
• 강한 볼록성 및 리프시츠 기울기 조건을 활용하여 오차를 추정 오차와 추적 오차로 분해함으로써 동적 리그레트 경계를 유도한다.
• 몬테카를로 시뮬레이션을 통해 이론적 경계를 검증하며, 기대값과 워샤프스키 거리를 경험적 측도를 통해 근사한다.
• 제약 조건의 강화와 제약 조건 충족 확률 간의 관계를 규명하여 온라인 의사결정에서 확률적 타당성 보장을 가능하게 한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변화하는 환경에서의 분포 이탈은 어떻게 효과적으로 온라인 확률적 최적화에 모델링할 수 있는가?
• RQ2 강한 볼록성, 리프시츠 기울기, 유계 워샤프스키 이탈 조건 하에서 어떤 동적 리그레트 경계를 달 đạt할 수 있는가?
• RQ3 일반적인 제약 집합에 대한 온라인 최적화에서 기울기의 균일한 유계 조건을 완화할 수 있는가?
• RQ4 정확한 페널티 방법은 이론적 성능 보장을 유지하면서 계산 가능성을 어떻게 향상시키는가?
• RQ5 온라인 최적화에서 제약 조건 강화와 제약 조건 충족 확률 간의 관계는 무엇인가?

주요 결과

• 논문은 강한 볼록성, 리프시츠 기울기, 그리고 예시에서 약 ρ ≈ 0.33 수준의 유계 워샤프스키 이탈률 조건 하에서 추적 오차 및 추정 오차가 유계로 유지됨을 입증한다.
• 동적 리그레트는 유계이며 시간에 따라 다항식보다 느리게 증가하여 시간에 따라 변화하는 분포에 대한 효과적인 적응성을 보여준다.
• 정확한 페널티 방법은 균일하게 유계인 기울기 조건이 필요 없음을 보장함으로써 일반 볼록 제약 집합에 대한 적용 가능성을 높인다.
• 몬테카를로 시뮬레이션을 통해 리그레트 및 오차에 대한 이론적 경계가 검증되었으며, 시간에 따라 기대 추적 오차 및 추정 오차가 유계로 유지됨을 보였다.
• 제약 조건 강화가 제약 조건 충족 확률과 직접적인 관계가 있음을 입증하여 확률적 타당성 보장을 가능하게 한다.
• 비절대 연속 분포를 다룰 수 있고 타당한 신뢰 구간을 제공할 수 있다는 점에서, 워샤프스키 거리가 불확실성 집합 모델링에 클라우지-라이블러 발산보다 유리하다.