[논문 리뷰] Ambiguity set and learning via Bregman and Wasserstein

Xin Guo, Johnny Hong외 1명|arXiv (Cornell University)|2017. 05. 23.

Risk and Portfolio Optimization참고 문헌 28인용 수 4

한 줄 요약

이 논문은 $L_2$-Wasserstein 거리와 Bregman 발산을 통합하는 새로운 비대칭 통계적 발산인 Wasserstein-Bregman 발산을 소개한다. 이는 강건 최적화 및 분포 학습에서 더 나은 불확실성 집합 구축을 가능하게 하며, Bregman 발산에 대한 농도 및 점근적 결과를 확립하여 해석 가능하고 볼록인 불확실성 집합을 도출하고, 변환된 분포와 페널티 항을 통한 효율적인 최적화를 가능하게 하는 분해를 제공한다.

ABSTRACT

Construction of ambiguity set in robust optimization relies on the choice of divergences between probability distributions. In distribution learning, choosing appropriate probability distributions based on observed data is critical for approximating the true distribution. To improve the performance of machine learning models, there has recently been interest in designing objective functions based on Lp-Wasserstein distance rather than the classical Kullback-Leibler (KL) divergence. In this paper, we derive concentration and asymptotic results using Bregman divergence. We propose a novel asymmetric statistical divergence called Wasserstein-Bregman divergence as a generalization of L2-Wasserstein distance. We discuss how these results can be applied to the construction of ambiguity set in robust optimization.

연구 동기 및 목표

• KL 발산이 연속적이고 경험적인 분포 간 비교에서 정의되지 않거나 확률 질량의 공간적 근접성을 반영하지 못하는 등의 문제점을 해결하기 위해.
• Bregman 발산을 사용하여 분포로 인한 강건 최적화에서 불확실성 집합을 일반화된 프레임워크로 구축하고, 진짜 분포가 높은 확률로 포함되도록 보장하기 위해.
• Wasserstein 거리의 기하적 성질과 Bregman 발산의 비대칭성 및 분석적 유연성을 결합한 새로운 발산인 Wasserstein-Bregman를 제안하여 통계적 및 최적화 성능 향상에 기여하기 위해.
• Bregman 발산에 대한 이론적 보장을 제공하며, 특히 파arametric 설정에서 경험 분포와 진짜 분포 간의 농도 및 점근적 결과를 포함하기 위해.

제안 방법

• Bregman 발산에 대한 농도 부등식을 유도하며, 볼록 생성 함수 $\phi$의 유계 헤시안과 리프시츠 조건을 사용하여 경험 분포와 진짜 이산 분포 간의 Bregman 발산을 분석한다.
• Bregman 발산의 점근적 행동이 파arametric 모델에서 $\phi$의 헤시안에 직접적으로 영향을 받는다는 것을 보여주는 약한 수렴 결과를 확립한다.
• Bregman 발산을 비용 함수로 사용하는 $L_2$-Wasserstein 거리의 일반화로 Wasserstein-Bregman 발산 $W_{D_\phi}$를 제안한다.
• $W_{D_\phi}(\mathbb{Q}, \mathbb{P}_\theta)$를 $\mathbb{Q}$와 $\mathbb{P}_\theta$의 $\nabla\phi$-변환된 형태 사이의 제곱 $L_2$-Wasserstein 거리 항 $D$와 $\phi$ 및 그 기울기의 기대값을 포함하는 페널티 항 $P$로 분해한다.
• 경험 분포 중심의 Bregman 발산 구를 사용하여 볼록한 불확실성 집합을 구성하며, 이의 반경은 $M_\phi$와 $L_\phi$를 포함하는 농도 경계로부터 유도된다.
• 분포 학습의 목적 함수로 이 발산을 적용하여 기하적 운반 비용과 기반 기반 정규화를 분리하는 분해를 통한 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 데이터 기반 불확실성 하에서 강건 최적화에서 Bregman 발산을 사용하여 통계적으로 타당하고 계산적으로 해석 가능한 불확실성 집합을 어떻게 구성할 수 있는가?
• RQ2 파arametric 설정에서 경험 분포와 진짜 분포 간 Bregman 발산의 농도 및 점근적 성질은 무엇인가?
• RQ3 Wasserstein 거리와 Bregman 발산의 장점을 결합한 비대칭적이고 기하학적으로 의미 있는 분포 비교를 위한 새로운 발산을 구성할 수 있는가?
• RQ4 볼록 생성 함수 $\phi$의 선택이 유도되는 발산의 정보 내용과 행동에 어떤 영향을 미치는가?
• RQ5 제안된 Wasserstein-Bregman 발산의 구조적 분해는 무엇이며, 이를 통해 분포 학습에서 효율적인 최적화가 어떻게 가능해지는가?

주요 결과

• 기대 Bregman 발산 $\mathbb{E}[D_\phi(p, \hat{p}_n)]$은 $M_\phi \sqrt{d/(4n)}$ 이하로 유계이며, 여기서 $M_\phi$는 $\phi$의 기울기의 최대 노름이고 $d$는 차원이다.
• 기대 Bregman 발산 $\mathbb{E}[D_\phi(\hat{p}_n, p)]$는 $M_\phi \sqrt{d/(4n)}$ 이하로 유계이며, 경험 분포가 진짜 분포 주변에 집중되어 있음을 보여준다.
• 볼록한 불확실성 집합은 $\{p : D_\phi(p, \hat{p}_n) \leq M_\phi \sqrt{d/(4n)} + L_\phi (d/(4n)) + \epsilon\}$로 구성되며, 이는 진짜 분포가 높은 확률로 포함됨을 보장한다.
• Wasserstein-Bregman 발산은 $W_{D_\phi}(\mathbb{Q}, \mathbb{P}_\theta) = D + P$로 분해되며, 여기서 $D = \frac{1}{2} W_2^2(\mathbb{Q}, \mathbb{P}_\theta \circ (\nabla\phi)^{-1})$이고 $P$는 $\phi$와 그 기울기의 기대값을 포함하는 페널티 항이다.
• 만약 $\phi(x) = \|x\|_2^2$이면, Wasserstein-Bregman 발산은 $L_2$-Wasserstein 거리로 축소되며, 표준 케이스를 복원한다.
• 제안된 발산은 비대칭적이며, 대칭 거리보다 더 세밀한 분포 비교를 가능하게 하면서도 유리한 최적화 성질을 유지한다.