[논문 리뷰] First-order Conditions for Optimization in the Wasserstein Space

Nicolas Lanzetti, Saverio Bolognani외 1명|arXiv (Cornell University)|2022. 09. 25.

Risk and Portfolio Optimization인용 수 6

한 줄 요약

이 논문은 최적 운반 기하학과 변분법을 활용하여 워샤르스타인 공간 내 제약 조건이 있는 최적화 문제에 대한 1차 최적성 조건을 수립한다. 표준적 추론 방식인 '기울기를 0으로 설정하기'와 '최적성에서 기울기가 일치한다'는 원리가 워샤르스타인 거리에서 확률 측도로 일반화됨을 보이며, 평균-분산, KL 발산, 워샤르스타인 거리가 포함된 분포로 저항력 있는 최적화 및 통계적 추론 문제에서 해석적 해를 가능하게 한다.

ABSTRACT

We study first-order optimality conditions for constrained optimization in the Wasserstein space, whereby one seeks to minimize a real-valued function over the space of probability measures endowed with the Wasserstein distance. Our analysis combines recent insights on the geometry and the differential structure of the Wasserstein space with more classical calculus of variations. We show that simple rationales such as "setting the derivative to zero" and "gradients are aligned at optimality" carry over to the Wasserstein space. We deploy our tools to study and solve optimization problems in the setting of distributionally robust optimization and statistical inference. The generality of our methodology allows us to naturally deal with functionals, such as mean-variance, Kullback-Leibler divergence, and Wasserstein distance, which are traditionally difficult to study in a unified framework.

연구 동기 및 목표

• 워샤르스타인 공간 내 확률 측도 위에서 제약 조건이 있는 최적화 문제에 대한 1차 최적성 조건을 개발한다.
• 평균-분산, KL 발산, 워샤르스타인 거리와 같은 기능들을 동일한 프레임워크 내에서 통합 분석한다.
• 기존의 변분법을 워샤르스타인 공간의 비선형 및 거리 기반 구조로 확장한다.
• 최적 운반을 통한 기하학적 및 미분 기반 기초를 제공하여 확률 공간 내 최적화를 가능하게 한다.
• 분포로 저항력 있는 최적화 및 통계적 추론 문제에서 해석적 해를 가능하게 한다.

제안 방법

• 최적 운반 사상과 그 후행 변환을 사용하여 워샤르스타인 공간의 미분 구조를 공식화한다.
• 변분법과 워샤르스타인 공간의 기하학을 결합하여 1차 필수 및 충분 조건을 유도한다.
• 기울기 흐름과 일반화된 지오데식을 사용하여 기울기가 일치하는 방식으로 최적성을 특성화한다.
• 워샤르스타인 구와 KL 발산 제약 조건을 포함한 제약 조건이 있는 최적화 문제에 이론을 적용한다.
• 최소 엔트로피 운반 사상을 활용하여 평균과 공분산을 포함한 행렬 방정식을 사용해 고정된 클래스의 분포(예: 정규분포)에 대해 해석적 해를 도출한다.
• 워샤르스타인 공간 내 일반화된 지오데식을 따라 KL 발산의 볼록성에 의해 유일성과 최적성을 확립한다.

실험 결과

연구 질문

• RQ1 표준적인 1차 최적성 원리인 '기울기를 0으로 설정하기'와 '최적성에서 기울기가 일치한다'는 원리는 워샤르스타인 공간 내 확률 측도 최적화로 일반화될 수 있는가?
• RQ2 워샤르스타인 공간의 미분 구조는 최적성에 대한 필수 및 충분 조건을 도출하는 데 어떻게 활용될 수 있는가?
• RQ3 평균-분산, KL 발산, 워샤르스타인 거리와 같은 기능들은 어느 정도 통합된 최적화 프레임워크 내에서 다룰 수 있는가?
• RQ4 워샤르스타인 모호성 집합을 가진 분포로 저항력 있는 최적화 문제에 대해 해석적 해를 유도할 수 있는가?
• RQ5 최적 운반 사상과 그 역사상은 제약 조건이 있는 최적화 문제에서 최적 측도를 특성화하는 데 어떤 역할을 하는가?

주요 결과

• 워샤르스타인 공간 내 1차 최적성 조건은 고전적 추론 원리를 일반화한다: '기울기를 0으로 설정하기'와 '최적성에서 기울기가 일치한다'는 원리는 이 기하학적 설정에서도 성립한다.
• 워샤르스타인 구 제약 조건 문제에서 최적 측도는 원래 변수와 이중 변수를 포함하는 방정식계의 해로부터 유도된 운반 사상으로 특성화된다.
• 정규분포의 경우, 워샤르스타인 모호성 집합을 가진 분포로 저항력 있는 최적화 문제의 최적 해는 평균과 공분산을 포함한 행렬 방정식을 사용해 해석적으로 계산할 수 있다.
• 워샤르스타인 공간 내 일반화된 지오데식을 따라 KL 발산의 볼록성에 의해 유일한 최적 해가 보장된다.
• 두 정규분포 사이의 최소 엔트로피 운반 문제의 해는 평균과 공분산을 특정 행렬 표현식(이를테면 이동된 정밀도 행렬의 역행렬을 포함)을 통해 일치시키는 선형 변환으로 표현된다.
• 워샤르스타인 거리 제약 조건을 충족시키기 위해 라그랑주 승수 λ∗를 구하기 위한 수치적 근 찾기 절차가 수립되었으며, 이는 음의 실수선에서 부호가 변하는 연속 함수 f(λ)를 풀이하여 수행된다.