[논문 리뷰] A Unified Theory of Robust and Distributionally Robust Optimization via the Primal-Worst-Equals-Dual-Best Principle

Jianzhe Zhen, Daniel Kühn외 1명|arXiv (Cornell University)|2021. 05. 03.

Risk and Portfolio Optimization참고 문헌 18인용 수 7

한 줄 요약

이 논문은 일반화된 '원시-최악 = 쌍대-최고' 원리를 사용하여 복잡한 문제의 유한한 볼록 재구성 가능성을 보장하는 통합된 볼록 해석 프레임워크를 제안한다. 이는 반복적 무한 최악의 경우와 비볼록 최고의 경우 문제 간의 강한 이중성 관계를 수립하여 일반적인 최적 운반 불확실성 집합을 갖는 분포로 불확실성에 대한 최적화 문제의 해법을 가능하게 한다.

ABSTRACT

Robust and distributionally robust optimization are modeling paradigms for decision-making under uncertainty where the uncertain parameters are only known to reside in an uncertainty set or are governed by any probability distribution from within an ambiguity set, respectively, and a decision is sought that minimizes a cost function under the most adverse outcome of the uncertainty. In this paper, we develop a rigorous and general theory of robust and distributionally robust nonlinear optimization using the language of convex analysis. Our framework is based on a generalized `primal-worst-equals-dual-best' principle that establishes strong duality between a semi-infinite primal worst and a non-convex dual best formulation, both of which admit finite convex reformulations. This principle offers an alternative formulation for robust optimization problems that obviates the need to mobilize the machinery of abstract semi-infinite duality theory to prove strong duality in distributionally robust optimization. We illustrate the modeling power of our approach through convex reformulations for distributionally robust optimization problems whose ambiguity sets are defined through general optimal transport distances, which generalize earlier results for Wasserstein ambiguity sets.

연구 동기 및 목표

• 강건 및 분포로 불확실성 최적화의 일반적이고 볼록 해석 이론을 개발하여, 원뿔 또는 구조적 문제 클래스를 초월한다.
• 이전의 강건 최적화 일반화에서 자주 간과되는 수학적 미묘함, 특히 이중성과 제약 조건의 충족 조건에 대해 다룬다.
• 임의의 볼록 함수와 불확실성 집합에 적용 가능한 단일 이중성 원리에 따라 강건 및 분포로 불확실성 최적화를 통합한다.
• 추상적인 반복적 무한 이중성 이론에 의존하지 않고도 강건 최적화에서 강한 이중성을 위한 쉽게 검증 가능한 조건을 제공한다.
• 일반적인 최적 운반 기반 불확실성 집합을 갖는 분포로 불확실성 최적화 문제의 볼록 재구성 가능성을 가능하게 한다. 이는 지지 집합이나 운반 비용에 대한 구조적 제약 조건을 포함한다.

제안 방법

• 반복적 무한 원시 최악 문제와 비볼록 쌍대 최고 문제 간의 강한 이중성을 수립하는 일반화된 '원시-최악 = 쌍대-최고' 원리를 도입한다.
• 켤레 함수와 볼록 해석을 사용하여 암묵적 제약 조건 또는 켤레 함수를 갖는 일반 볼록 최적화 문제의 명시적 쌍대 문제를 유도한다.
• 이중성 원리를 적용하여 강건 및 분포로 불확실성 최적화 문제를 유한 차원 볼록 프로그래밍으로 재구성한다.
• 운반 비용 함수의 첫 번째 부분 켤레를 사용하여 최적 운반 기반 불확실성 집합에 대한 볼록 재구성 가능성을 도출한다.
• 운반 비용의 초선형 성장 조건 하에서 불확실성 정량화 문제(OT)의 해법 조건을 수립한다.
• 이 프레임워크는 특정 운반 비용 함수를 설계하여 구조적 분포 정보를 모델링할 수 있으며, 이는 저확률 영역을 페널티로 처리하거나 등방성 노이즈를 모델링하는 데 유용하다.

실험 결과

연구 질문

• RQ1 일반적인 볼록 함수와 불확실성 집합에 적용 가능한 강건 및 분포로 불확실성 최적화를 위한 통합된 이중성 원리를 수립할 수 있는가?
• RQ2 추상적인 반복적 무한 이중성 이론이나 모멘트 조건에 의존하지 않고 분포로 불확실성 최적화에서 강한 이중성을 어떻게 증명할 수 있는가?
• RQ3 일반적인 최적 운반 기반 불확실성 집합을 갖는 분포로 불확실성 최적화 문제에 대해 유한한 볼록 재구성 가능성을 보장하는 조건은 무엇인가?
• RQ4 어떻게 운반 비용 함수를 설계하여 지지 집합 제약 조건이나 노이즈 모델과 같은 구조적 분포 정보를 포함시킬 수 있는가?
• RQ5 제안된 프레임워크는 비선형 목표/제약 함수와 원뿔 부등식을 통합적으로 다룰 수 있는가?

주요 결과

• 일반화된 '원시-최악 = 쌍대-최고' 원리는 반복적 무한 원시 최악 문제와 비볼록 쌍대 최고 문제 간의 강한 이중성을 가능하게 한다.
• 원시 최악 문제와 쌍대 최고 문제 모두 유한 차원 볼록 재구성 가능성을 갖으며, 표준 볼록 최적화 기법으로 해법을 쉽게 구할 수 있다.
• 이 프레임워크는 추상적인 모멘트 조건을 피하는 유한 차원 볼록 해석을 사용하여 분포로 불확실성 최적화에서 강한 이중성에 대한 쉽게 검증 가능한 조건을 제공한다.
• 일반적인 최적 운반 기반 불확실성 집합을 갖는 분포로 불확실성 최적화 문제에 대해 볼록 재구성 가능성이 도출되었으며, 초선형 운반 비용 조건이 포함된 경우에도 적용 가능하다.
• 이 방법은 저확률 영역을 페널티로 처리하거나 등방성 노이즈를 모델링하는 데 유용한 맞춤형 운반 비용 함수를 통해 구조적 분포 정보를 모델링할 수 있다.
• 운반 비용이 초선형 성장을 보일 경우, 슬래터 점이 존재하고 쌍대 최대화자가 예산 제약 조건을 충족하면 불확실성 정량화 문제(OT)가 해법 가능하다고 밝혀졌다.