[논문 리뷰] Distributional Convergence of the Sliced Wasserstein Process

Jiaqi Xi, Jonathan Niles‐Weed|arXiv (Cornell University)|2022. 06. 01.

Geometric Analysis and Curvature Flows인용 수 5

한 줄 요약

이 논문은 고차원 확률 측도의 모든 일차원 투영에 대한 경험 워셔스타인 거리들을 모델링하는 스토케틱 프로세스인 Sliced Wasserstein Process를 소개한다. 이는 균일한 분포 극한 정리(Uniform distributional limit theorem)를 확립하여, 다양한 슬라이스드 워셔스타인 거리에 대한 점근적 분포를 통합된 프레임워크로 유도할 수 있게 하며, 이는 모든 변형에 대해 유효한 신뢰구간과 부트스트랩 추론을 가능하게 한다. 이는 이전에 분석되지 않은 케이스를 포함하여 모두 포함된다.

ABSTRACT

Motivated by the statistical and computational challenges of computing Wasserstein distances in high-dimensional contexts, machine learning researchers have defined modified Wasserstein distances based on computing distances between one-dimensional projections of the measures. Different choices of how to aggregate these projected distances (averaging, random sampling, maximizing) give rise to different distances, requiring different statistical analyses. We define the \emph{Sliced Wasserstein Process}, a stochastic process defined by the empirical Wasserstein distance between projections of empirical probability measures to all one-dimensional subspaces, and prove a uniform distributional limit theorem for this process. As a result, we obtain a unified framework in which to prove distributional limit results for all Wasserstein distances based on one-dimensional projections. We illustrate these results on a number of examples where no distributional limits were previously known.

연구 동기 및 목표

• 기계학습에서 널리 사용되지만 공동 분포 이론이 부족한 다양한 슬라이스드 워셔스타인 거리 분석을 위한 통합된 통계 프레임워크가 부족한 문제를 해결하기 위해.
• 고차원 워셔스타인 거리의 통계적 및 계산적 과제, 즉 차원의 저주와 느린 수렴 문제를 극복하기 위해.
• 모든 고차원 공간 내 방향에 걸쳐 투영된 워셔스타인 거리의 경험적 행동을 포괄하는 스토케틱 프로세스인 Sliced Wasserstein Process를 개발하기 위해.
• 이 프로세스에 대해 균일한 분포 극한 정리를 증명하여, 모든 투영 기반 워셔스타인 거리에 대해 동시에 점근적 추론을 가능하게 하기 위해.
• 기존 결과를 표준 슬라이스드 워셔스타인 거리 초과하여 최대-슬라이스드, 분포 기반 슬라이스드 및 기타 변형으로 확장하여, 이전에 알려지지 않은 분포 극한을 포함시키기 위해.

제안 방법

• Sliced Wasserstein Process를 모든 일차원 부분공간에 대한 경험 측도의 투영 간 경험 워셔스타인 거리로 정의하며, 방향 $ u \in \mathbb{S}^{d-1} $ 로 인덱싱된다.
• 이 프로세스를 $ \ell^\infty(\mathbb{S}^{d-1}) $ 내의 랜덤 원소로 모델링하며, $ u \mapsto W_p^p(P_n^u, Q_n^u) $ 라는 사상으로 표현한다. 여기서 $ P_n^u, Q_n^u $ 는 경험 투영이다.
• 컴act support, 연결된 측도를 가진 $ \mathbb{R}^d $ 에서 $ p > 1 $ 인 경우, [HKSM22]의 이중성 기반 기법을 적용하여 프로세스의 중심극한정리 도출.
• 기능적 델타 방법과 하다마르드 미분 가능성을 활용하여 프로세스의 기능성, 예를 들어 최댓값, 진폭, 적분 등에 대한 극한 정리 확장.
• 재스케일링된 프로세스가 $ \mathbb{S}^{d-1} $ 에 따라 인덱싱된 가우시안 프로세스로 분포 수렴을 확립하며, 기저 측도로부터 명시적인 분산 구조 유도.
• 유한 표본 분포가 이론적 가우시안 극한으로 수렴하고, 다양한 표본 크기에서 부트스트랩 일致성 보여주는 시뮬레이션을 통한 이론 검증.

실험 결과

연구 질문

• RQ1 모든 일차원 투영 기반 워셔스타인 거리, 즉 슬라이스드, 최대-슬라이스드, 분포 기반 슬라이스드 변형을 포함하여, 하나의 스토케틱 프로세스 프레임워크로 모든 점근적 분석을 통합할 수 있는가?
• RQ2 고차원 공간 내 모든 방향에 걸쳐 경험 투영 워셔스타인 거리의 공동 극한 분포는 무엇인가?
• RQ3 Sliced Wasserstein Process는 $ \mathbb{S}^{d-1} $ 상의 유계 함수 공간에서 강한 가우시안 프로세스로 약한 수렴하는가? 이는 일반 기능성에 대한 추론 가능성을 보장하는가?
• RQ4 이론이 이전에 알려지지 않은 분포 극한이 있었던 경우에도, 모든 이러한 거리에 대해 유효한 신뢰구간과 부트스트랩 추론을 지원할 수 있는가?
• RQ5 유한 표본 분포와 부트스트랩 근사치가 이론적 극한과 얼마나 잘 일치하는가? 특히 다양한 재표본 추출 방법에서의 일치 정도는 어떠한가?

주요 결과

• Sliced Wasserstein Process는 $ \mathbb{S}^{d-1} $ 에 따라 인덱싱된 강한 가우시안 프로세스로 약한 수렴을 보이며, 모든 투영 워셔스타인 거리에 대해 균일한 중심극한정리 수립.
• $ \sqrt{n} \left( SW_p^p(P_n, Q_n) - SW_p^p(P, Q) \right) $ 의 극한 분포는 기저 측도와 투영 방향에 의해 결정되는 분산을 가진 가우시안 분포이다.
• 최대-슬라이스드 워셔스타인 거리의 경우, 시험 예제에서 점근적 분포는 분산 $ \frac{5}{12} $ 을 가진 가우시안 분포이며, 이론적 예측과 일치한다.
• 진폭 기능성—정의상 $ \sup W_p^p - \inf W_p^p $ —은 가우시안 분포로 수렴하여, 모든 방향에 걸쳐 극한의 균일성이 확인된다.
• 전체 재표본($ l = n $)을 사용한 부트스트랩 근사치는 부분표본 대비 유한 표본 분포와 더 잘 일치하며, 플러그인 부트스트랩의 타당성을 뒷받침한다.
• 시뮬레이션 결과, 표본 크기가 증가할수록 프로세스의 경험 분포가 이론적 가우시안 극한으로 수렴함을 확인하여, 다양한 예제에서 점근 이론의 타당성이 검증된다.