[논문 리뷰] Estimation of smooth densities in Wasserstein distance

Jonathan Weed, Quentin Berthet|arXiv (Cornell University)|2019. 02. 05.

Geometric Analysis and Curvature Flows인용 수 38

한 줄 요약

이 논문은 워셔스타인 거리에서 부드러운 밀도를 추정하기 위한 최초의 최대 최소 최적 비율을 확립하며, 밀도의 정규성(regularity)이 차원의 저주(curse of dimensionality)를 완화시킴을 보여준다. 저자들은 워셔스타인 거리와 베소프 노름 사이의 새로운 경계를 도입함으로써 향상된 수렴 속도를 도출하고, 계산적으로 효율적인 이산적으로 지지된 근사치를 구성한다.

ABSTRACT

The Wasserstein distances are a set of metrics on probability distributions supported on $\mathbb{R}^d$ with applications throughout statistics and machine learning. Often, such distances are used in the context of variational problems, in which the statistician employs in place of an unknown measure a proxy constructed on the basis of independent samples. This raises the basic question of how well measures can be approximated in Wasserstein distance. While it is known that an empirical measure comprising i.i.d. samples is rate-optimal for general measures, no improved results were known for measures possessing smooth densities. We prove the first minimax rates for estimation of smooth densities for general Wasserstein distances, thereby showing how the curse of dimensionality can be alleviated for sufficiently regular measures. We also show how to construct discretely supported measures, suitable for computational purposes, which enjoy improved rates. Our approach is based on novel bounds between the Wasserstein distances and suitable Besov norms, which may be of independent interest.

연구 동기 및 목표

• 워셔스타인 거리 하에서 부드러운 밀도 추정에 대한 최대 최소 비율의 격차를 메우기 위해, 특히 정규 측도(regular measures)에 대해 고려한다.
• 밀도의 부드러움이 워셔스타인 추정에서 차원의 저주를 줄이는 방식을 보여준다.
• 계산적 사용을 위해 향상된 수렴 속도를 유지하는 이산적으로 지지된 측도를 개발한다.
• 워셔스타인 거리와 베소프 노름 사이의 새로운 경계를 통해 이론적 기초를 확립한다.

제안 방법

• 워셔스타인 거리와 베소프 노름을 연결하는 새로운 이론적 경계를 유도하여 추정 오차를 더 엄밀히 제어할 수 있도록 한다.
• 이 경계를 사용하여 일반 워셔스타인 거리에서 부드러운 밀도에 대한 최대 최소 위험을 분석한다.
• 수렴 속도를 유지하는 방식으로 양자화 또는 샘플링 전략을 사용해 진짜 측도의 이산적으로 지지된 근사치를 구성한다.
• 밀도의 정규성을 활용하여 일반 측도에 비해 향상된 속도를 도출한다.
• 변분 추론 원리를 적용하여 알려지지 않은 측도를 경험적 대체 측도로 대체하고, 이들의 워셔스타인 거리에서의 수렴성을 분석한다.
• 함수해석학과 최적 운반 이론의 도구를 사용하여 부드러움과 근사 오차 사이의 트레이드오프를 특성화한다.

실험 결과

연구 질문

• RQ1 일반 측도에 비해 워셔스타인 거리에서 부드러운 밀도에 대해 향상된 최대 최소 비율을 달성할 수 있는가?
• RQ2 밀도의 부드러움이 워셔스타인 근사의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 이산적으로 지지된 측도에서 근사 정확도와 계산 효율성 사이의 최적 트레이드오프는 무엇인가?
• RQ4 워셔스타인 거리와 베소프 노름 사이의 새로운 경계가 더 엄밀한 추정 오차 제어를 가능하게 하는가?
• RQ5 밀도의 정규성이 워셔스타인 추정에서 차원의 저주를 어느 정도 완화시키는가?

주요 결과

• 논문은 일반 워셔스타인 거리에서 부드러운 밀도 추정을 위한 최초의 최대 최소 최적 비율을 확립하며, 일반 측도에 비해 향상된 수렴 속도를 보여준다.
• 밀도의 부드러움은 효과적인 차원 수를 크게 감소시켜 차원의 저주를 완화시킨다.
• 워셔스타인 거리와 베소프 노름 사이의 새로운 경계가 유도되었으며, 이는 별개의 이론적 관심사로도 중요하다.
• 이산적으로 지지된 측도는 연속적 근사치와 동일한 향상된 속도를 달성할 수 있으며, 실용적 계산을 가능하게 한다.
• 비율은 밀도의 부드러움과 차원에 따라 달라지며, 더 높은 정규성일수록 더 빠른 수렴 속도를 보인다.
• 결과들은 경험적 측도가 일반 측도에 대해 비율 최적임을 보여주지만, 부드러움 가정 하에서는 더 향상된 비율이 가능함을 시사한다.