[논문 리뷰] Conic Reformulations for Kullback-Leibler Divergence Constrained Distributionally Robust Optimization and Applications

Burak Kocuk|arXiv (Cornell University)|2020. 07. 12.

Risk and Portfolio Optimization참고 문헌 28인용 수 4

한 줄 요약

이 논문은 Kullback-Leibler (KL) 발산을 통해 경험 분포로 제약된 분포로 불확실성 최적화(DRO) 문제를 지수원추론 가능성을 활용하여 원뿔형 재구성하는 방법을 제안한다. 이로 인해 유한한 원뿔형 프로그래밍 문제로 변환되며, 상용 원뿔형 솔버를 통해 해를 구할 수 있다. 뉴스베이더 문제와 비용 제약이 없는 시설 위치 문제에서, 스토하스틱 프로그래밍 대비 최악의 상황 및 분산 성능이 뛰어나며, 평균 비용은 약간 증가할 뿐이다.

ABSTRACT

In this paper, we consider a distributionally robust optimization (DRO) model in which the ambiguity set is defined as the set of distributions whose Kullback-Leibler (KL) divergence to an empirical distribution is bounded. Utilizing the fact that KL divergence is an exponential cone representable function, we obtain the robust counterpart of the KL divergence constrained DRO problem as a dual exponential cone constrained program under mild assumptions on the underlying optimization problem. The resulting conic reformulation of the original optimization problem can be directly solved by a commercial conic programming solver. We specialize our generic formulation to two classical optimization problems, namely, the Newsvendor Problem and the Uncapacitated Facility Location Problem. Our computational study in an out-of-sample analysis shows that the solutions obtained via the DRO approach yield significantly better performance in terms of the dispersion of the cost realizations while the central tendency deteriorates only slightly compared to the solutions obtained by stochastic programming.

연구 동기 및 목표

• 스토하스틱 프로그래밍이 강한 분포 가정이 필요하고, 강건 최적화가 지나치게 보수적인 해를 초래할 수 있는 한계를 해결하기 위해.
• KL 발산 기반의 불확실성 집합을 갖는 분포로 불확실성 최적화(DRO) 문제의 해석 가능한 재구성 방법을 개발하기 위해.
• KL 발산의 지수원추론 표현 가능성을 활용하여 원뿔형 프로그래밍 솔버를 통한 효율적 해법을 가능하게 하기 위해.
• 전형적인 최적화 문제에서 비용 분산 및 최악의 결과 측면에서 제안된 DRO 접근법의 성능을 평가하기 위해.
• DRO 접근법이 비용 실현의 강건성을 크게 향상시키면서도 중심 경향성(central tendency)에 미치는 영향은 미미한 수준임을 입증하기 위해.

제안 방법

• KL 발산이 지수원추론 제약 조건으로 표현 가능하다는 사실을 활용하여 원뿔형 프로그래밍 재구성 가능성을 확보한다.
• 약한 가정 하에 KL 제약이 있는 DRO 문제의 강건 대응 문제로 지수원추론 제약이 있는 이중 프로그래밍을 유도한다.
• 원뿔형 이중성 원리를 적용하여 원래 DRO 문제를 내부점 방법에 적합한 형태로 변환한다.
• 일반적인 재구성 방법을 뉴스베이더 문제와 비용 제약이 없는 시설 위치(UFL) 문제에 특화된 원뿔형 표현으로 적용한다.
• 몬테카를로 샘플링을 활용한 외부 샘플 분석을 수행하여 균일, 이항, 포아송 분포 등 다양한 수요 분포에서의 성능을 평가한다.
• 상용 원뿔형 솔버(MOSEK 등)를 사용하여 유도된 지수원추론 프로그래밍을 직접 해를 구한다.

실험 결과

연구 질문

• RQ1 KL 발산 제약이 있는 DRO 문제는 지수원추론 표현을 통해 해석 가능한 원뿔형 프로그래밍으로 재구성할 수 있는가?
• RQ2 DRO 해법의 성능은 비용 분산 및 최악의 결과 측면에서 스토하스틱 프로그래밍 대비 어떻게 다를까?
• RQ3 KL 발산 기반의 불확실성 집합을 사용할 경우 중심 경향성(평균 비용)과 강건성(표준편차, 최상위 10퍼센트 비용) 사이의 상충 관계는 어떠한가?
• RQ4 불확실한 수요 분포 하에서 DRO 접근법은 시설 위치 및 뉴스베이더 문제에서 얼마나 강건성을 향상시키는가?
• RQ5 제안된 원뿔형 재구성은 맞춤형 알고리즘 개발 없이도 상용 솔버를 통해 효율적으로 해를 구할 수 있는가?

주요 결과

• 균일분포(0,10) 수요를 가진 UFL 문제에서, θ=0.05일 때 평균 비용은 23.11에서 24.52로 증가하지만, 표준편차는 3.47에서 0.92로 감소하고 최상위 10퍼센트 비용은 29.19에서 26.10으로 감소한다.
• 이항분포(10,0.5) 수요일, DRO 접근법은 표준편차를 1.88에서 0.52로 감소시키고 최상위 10퍼센트 비용을 28.15에서 25.86으로 감소시키며, 평균 비용은 약간 증가한다.
• 포아송분포(5) 수요일, DRO 접근법은 표준편차를 2.67에서 0.74로 감소시키고 최상위 10퍼센트 비용을 29.89에서 26.34로 감소시키며, 평균 비용 증가는 극히 미미하다.
• DRO 적용 시 중앙값 비용은 안정되거나 약간 증가하는 반면, 사분위율 범위와 최대값은 크게 감소하여 강건성이 향상됨을 나타낸다.
• 불확실성 수준이 증가함에 따라, 스토하스틱 프로그래밍에서의 단일 중심 시설에서 DRO에서는 두 개의 군집된 시설로의 최적 시설 구성 전환이 발생하여 수요 변동성에 대한 강건성이 향상됨을 반영한다.
• 원뿔형 재구성은 상용 솔버를 통한 직접 해법을 가능하게 하여, 실제 DRO 문제에 대한 이론적 실현 가능성과 실용성을 확인한다.