[논문 리뷰] On Linear Optimization over Wasserstein Balls

Man–Chung Yue, Daniel Kühn외 1명|arXiv (Cornell University)|2020. 04. 15.

Risk and Portfolio Optimization참고 문헌 23인용 수 4

한 줄 요약

이 논문은 약한 순간 조건 하에서 워셔스타인 볼의 약한 컴팩트성을 확립하고, 이러한 볼 위에서 선형 최적화 문제의 최적 해 존재성을 쉽게 검증할 수 있는 필요 및 충분 조건을 제시한다. 또한 기준 측도가 이산일 경우 최적 해의 희소성 특성을 규명하며, 이전의 분포로 저항성 최적화 및 머신러닝 분야의 연구를 향상시킨 자가 포함된, 간결하고 엄밀한 분석을 제공한다.

ABSTRACT

Wasserstein balls, which contain all probability measures within a pre-specified Wasserstein distance to a reference measure, have recently enjoyed wide popularity in the distributionally robust optimization and machine learning communities to formulate and solve data-driven optimization problems with rigorous statistical guarantees. In this technical note we prove that the Wasserstein ball is weakly compact under mild conditions, and we offer necessary and sufficient conditions for the existence of optimal solutions. We also characterize the sparsity of solutions if the Wasserstein ball is centred at a discrete reference measure. In comparison with the existing literature, which has proved similar results under different conditions, our proofs are self-contained and shorter, yet mathematically rigorous, and our necessary and sufficient conditions for the existence of optimal solutions are easily verifiable in practice.

연구 동기 및 목표

• 최소한의 가정 하에서 워셔스타인 볼의 약한 컴팩트성을 확립하여 분포로 저항성 최적화에서 최적 해의 존재를 보장한다.
• 워셔스타인 볼 위에서의 선형 최적화 문제에서 최적 값의 유한성과 달성 가능성에 필요한 필요 및 충분 조건을 도출한다.
• 기준 측도가 이산일 경우 최적 해의 희소성을 규명하며, 특히 필요한 최소 원자 수를 특정한다.
• 복잡한 쌍대성 이론이나 최적 조건에 의존하지 않고, 자가 포함된, 간결하고 수학적으로 엄밀한 증명을 제공한다.
• 워셔스타인 볼 수식의 분석적 기초를 명확히 하여 데이터 기반 최적화에 엄밀한 통계적 보장을 제공한다.

제안 방법

• 기준 측도 $\nu$ 가 유한한 $p$-번째 순간을 가진다고 가정할 때, 프로코로프의 정리와 타이트니스 논증을 사용하여 워셔스타인 볼 $\mathcal{B}_r(\nu)$ 의 약한 컴팩트성을 증명한다.
• 목적 함수 functional $\int_X f(x) \, d\mu(x)$ 가 타당 집합 위에서 약하게 상부 연속임을 보이며, 이는 컴팩트니스 논증의 적용을 가능하게 한다.
• 삼각 부등식과 워셔스타인 거리의 성질을 사용하여, $\nu$ 가 유한한 $p$-번째 순간을 가진다면 $\mathcal{B}_r(\nu)$ 내 모든 측도가 일관되게 유계인 $p$-번째 순간을 가짐을 보인다.
• 프로코로프의 정리를 적용하여 타당 집합의 약한 컴팩트성을 결론 내리며, 이는 최적 값이 유한할 경우 최적 해의 존재를 보장한다.
• 기준 측도가 이산일 경우, 최적 해가 최대 $N+1$개의 원자에만 지지됨을 보여 최적 해의 희소성을 규명한다.
• 메인 정리의 지지에 복잡한 쌍대성 이론이나 최적 조건을 사용하지 않고, 부록에서 제공하는 측도 이론 도구와 무한차원 선형계획법 결과를 활용한다.

실험 결과

연구 질문

• RQ1 기준 측도 $\nu$ 가 유한한 $p$-번째 순간을 가질 때, 워셔스타인 볼 $\mathcal{B}_r(\nu)$ 는 언제 약하게 컴팩트한가?
• RQ2 워셔스타인 볼 위에서의 선형 최적화 문제에서 최적 값이 유한하고 달성 가능한 데 필요한 필요 및 충분 조건은 무엇인가?
• RQ3 기준 측도가 이산일 경우, 최적 해를 지지하기 위해 필요한 최소 원자 수는 얼마인가?
• RQ4 최소한의 가정과 최대한의 수학적 명확성으로 최적 해의 존재성과 희소성을 어떻게 확립할 수 있는가?
• RQ5 복잡한 쌍대성 이론에 의존하지 않고, 워셔스타인 기반 최적화에서 존재성과 희소성 결과를 자가 포함된 간결한 증명으로 구성할 수 있는가?

주요 결과

• 기준 측도 $\nu$ 가 유한한 $p$-번째 순간을 가진다면, 워셔스타인 볼 $\mathcal{B}_r(\nu)$ 는 항상 약하게 컴팩트하다.
• 선형 최적화 문제 (3)의 최적 값은 $\int_X [f(x)]_+ \, d\nu(x)$ 가 유한할 때이고 그때에만 유한하다.
• 최적 값이 유한할 경우 최적 해가 존재하며, 타이트니스와 약한 닫힘 성질에 의해 타당 집합은 약하게 컴팩트하다.
• 기준 측도 $\nu$ 가 $N$개의 원자를 가진다면, 최대 $N+1$개의 원자에만 지지되는 최적 해가 존재한다.
• 최적 해 존재성에 필요한 필요 및 충분 조건은 이전 연구에서 요구하는 더 복잡한 가정들과 달리 실무에서 쉽게 검증 가능하다.
• 증명은 이전 연구보다 자가 포함되어 있고, 더 짧으며, 더 접근하기 쉬우며, 고급 쌍대성 이론이나 리히터-로고신스키 정리에 의존하지 않는다.