[논문 리뷰] Decomposition Algorithm for Distributionally Robust Optimization using Wasserstein Metric

Fengqiao Luo, Sanjay Mehrotra|arXiv (Cornell University)|2017. 04. 12.

Risk and Portfolio Optimization참고 문헌 42인용 수 22

한 줄 요약

이 논문은 워샤프스키 메트릭을 사용한 분포로부스트 최적화를 위한 분해 알고리즘을 제안하며, 문제를 반무한 프로그래밍으로 재구성하고, 비볼록 케이스에는 교환 방법을, 볼록 케이스에는 중심 커팅 서피스 방법을 적용하여 해결한다. 이 방법은 낙관적 모델에 비해 예측 오차가 낮은 분포로부스트 로지스틱 회귀 모델에서 20~50회의 오라클 호출로 5자리 정밀도를 달성한다.

ABSTRACT

We study distributionally robust optimization (DRO) problems where the ambiguity set is defined using the Wasserstein metric. We show that this class of DRO problems can be reformulated as semi-infinite programs. We give an exchange method to solve the reformulated problem for the general nonlinear model, and a central cutting-surface method for the convex case, assuming that we have a separation oracle. We used a distributionally robust generalization of the logistic regression model to test our algorithm. Numerical experiments on the distributionally robust logistic regression models show that the number of oracle calls are typically 20 ? 50 to achieve 5-digit precision. The solution found by the model is generally better in its ability to predict with a smaller standard error.

연구 동기 및 목표

• 표본 수가 적을 때 워샤프스키 메트릭으로 정의된 불확실성 집합을 갖는 분포로부스트 최적화 문제를 다루기 위해.
• 불확실성 집합의 구조를 활용하여 효율적인 문제 해결을 가능하게 하는 분해 프레임워크를 개발하기 위해.
• 제안된 알고리즘에 대해 유한 수렴 보장과 전역 선형 수렴 속도를 제공하기 위해.
• 실제 문제에 가까운 분포로부스트 로지스틱 회귀 모델에서 알고리즘의 성능을 실증적으로 검증하기 위해.
• 이중성과 분해를 통해 혼합정수 및 비볼록 문제에 이 프레임워크를 적용할 수 있도록 하기 위해.

제안 방법

• 내부 분포로부스트 문제에 대해 콘형 이중성과 이중성 갭이 없는 조건을 활용하여 이중화함으로써 워샤프스키-로부스트 최적화 문제를 반무한 프로그래밍으로 재구성한다.
• 제약 조건 집합이 관측된 표본들에 따라 분해되는 분해 구조를 활용하여 각 데이터 포인트에 대해 독립적인 분리 하위문제를 가능하게 한다.
• 일般 비선형 모델에 대해 교환 방법을 구현하며, 반복적으로 마스터 문제와 분리 하위문제를 해결하여 해를 정밀화한다.
• 볼록 케이스에 대해 중심 커팅 서피스 알고리즘을 적용하여 반무한 프로그래밍의 구조를 활용해 전역 선형 수렴을 달성한다.
• 하위문제를 효율적으로 해결하기 위해 분리 오라클을 통합하여 알고리즘의 크기 증가에 대응할 수 있도록 한다.
• 알고리즘의 성능 평가를 위해 실제 세계 문제에 가까운 분포로부스트 일반화 로지스틱 회귀를 테스트 베드로 사용한다.

실험 결과

연구 질문

• RQ1 워샤프스키-로부스트 최적화 문제는 분해 가능한 구조를 갖는 반무한 프로그래밍으로 재구성될 수 있는가?
• RQ2 일般 비선형 케이스에 대한 교환 방법은 원하는 정밀도를 갖는 해로 유한 수렴을 달성하는가?
• RQ3 제안된 재구성 조건 하에 중심 커팅 서피스 방법은 볼록 케이스에서 전역 선형 수렴 속도를 달성하는가?
• RQ4 고정밀도 해를 얻기 위해 실제로 필요한 오라클 호출 수와 커팅 수는 얼마인가?
• RQ5 제안된 로부스트 모델은 예측 정확도와 표준 오차 측면에서 표준 로지스틱 회귀보다 우수한가?

주요 결과

• 내부 분포로부스트 문제는 이중성 갭이 없고 콘형 선형 프로그래밍으로 재구성되며, 반무한 프로그래밍 재구성에 기여한다.
• 분해 구조 덕분에 각 관측 표본에 대해 독립적인 분리 문제를 해결할 수 있어, 커팅 서피스 및 교환 방법의 효율적 구현이 가능하다.
• 교환 방법은 일반적으로 20~50회의 오라클 호출로 5자리 정밀도를 갖는 해로 유한 수렴을 달성한다.
• 중심 커팅 서피스 방법은 문제의 구조적 특성을 활용하여 전역 선형 수렴 속도를 나타낸다.
• 분포로부스트 로지스틱 회귀 모델에서는 추가되는 커팅 수가 일반적으로 학습 표본 수의 3~10배이다.
• 해의 계산 시간은 표준 로지스틱 회귀의 100배 이내이며, 로부스트 모델은 더 낮은 표준 오차를 갖는 더 나은 예측 성능을 보인다.