[논문 리뷰] Minimax convergence rate for estimating the Wasserstein barycenter of random measures on the real line

Jérémie Bigot, Raúl Gouet외 2명|arXiv (Cornell University)|2016. 06. 13.

Geometric Analysis and Curvature Flows참고 문헌 14인용 수 3

한 줄 요약

이 논문은 실수선 상의 랜덤 확률측도의 워셔스타인 바리센터를 관측된 각 측도의 이산 표본들로부터 추정할 때의 최대위험 수렴 속도를 규명한다. $ n $ (측도의 수)와 $ \min_i p_i $ (최소 표본 크기)가 동시에 무한으로 갈 때의 공동 점근적 조건 하에서, 스무딩 여부에 관계없이 최적의 수렴 속도를 도출하며, 워셔스타인 거리 척도에서 최대위험 최적성( minimax optimality )을 증명한다.

ABSTRACT

This paper is focused on the statistical analysis of probability measures $ν_{1},\ldots,ν_{n}$ on $\mathbb{R}$ that can be viewed as independent realizations of an underlying stochastic process. We consider the situation of practical importance where the random measures $ν_{i}$ are absolutely continuous with densities $f_{i}$ that are not directly observable. In this case, instead of the densities, we have access to datasets of real random variables $(X_{i,j})_{1 \leq i \leq n; \; 1 \leq j \leq p_{i} }$ organized in the form of $n$ experimental units, such that $X_{i,1},\ldots,X_{i,p_{i}}$ are iid observations sampled from a random measure $ν_{i}$ for each $1 \leq i \leq n$. In this setting, we focus on first-order statistics methods for estimating, from such data, a meaningful structural mean measure. For the purpose of taking into account phase and amplitude variations in the observations, we argue that the notion of Wasserstein barycenter is a relevant tool. The main contribution of this paper is to characterize the rate of convergence of a (possibly smoothed) empirical Wasserstein barycenter towards its population counterpart in the asymptotic setting where both $n$ and $\min_{1 \leq i \leq n} p_{i}$ may go to infinity. The optimality of this procedure is discussed from the minimax point of view with respect to the Wasserstein metric. We also highlight the connection between our approach and the curve registration problem in statistics. Some numerical experiments are used to illustrate the results of the paper on the convergence rate of empirical Wasserstein barycenters.

연구 동기 및 목표

• 관측된 이산 i.i.d. 표본들만을 이용할 때 워셔스타인 바리센터 추정기의 최대위험 수렴 속도를 규명하는 것.
• 모든 $ n $ 및 $ \min_i p_i $ 가 무한으로 갈 때의 점근적 영역에서, 표본 데이터로부터의 비모수적 추정기의 통계적 최적성 평가.
• 워셔스타인 바리센터 추정과 기능적 데이터 분석에서의 곡선 정렬 문제 사이의 연결 고리 설정.
• 비스무딩 및 스무딩 처리된 경험 워셔스타인 바리센터의 수렴 속도 및 최대위험 최적성 측면에서의 성능 비교.

제안 방법

• 관측된 표본들로부터 경험 측도를 이용한 비스무딩 경험 워셔스타인 바리센터와, 커널 밀도 추정을 통해 원천 밀도를 복원한 후 바리센터를 계산하는 스무딩 경험 바리센터를 포함한 두 가지 비모수적 추정기 제안.
• 진정한 인구 바리센터 $ \nu_0 $ 와의 기대 제곱 워셔스타인 거리 측면에서 두 추정기의 수렴 분석.
• 클룰백-라이블러 발산과 마르코프 부등식을 기반으로 한 이중가설 검정 프레임워크를 이용해 최소한의 하한값을 도출하며, 추정 정확도의 기본 한계 설정.
• 유한한 수의 가설(여기서는 두 개)으로의 감소 기법을 적용하여 최소한의 리스크 하한을 유도하며, Tsybakov(2009)의 도구 활용.
• 2차 비용 함수를 사용한 워셔스타인 거리 척도 $ d_W $ 를 이용해 $ W_2(\mathbb{R}) $ 공간 내의 프레셰 평균으로서 바리센터 정의함으로써 기하학적 및 확률적 일致성 확보.
• 적절한 조건 하에서 기저 측도와 그 밀도에 대한 정규성 조건이 만족될 경우, 수렴 속도가 $ n^{-1/2} $ 임을 증명.

실험 결과

연구 질문

• RQ1 실수선 상의 랜덤 확률측도의 워셔스타인 바리센터를 관측된 이산 표본들로부터 추정할 때의 최적 수렴 속도는 무엇인가?
• RQ2 큰 $ n $ 과 큰 $ \min_i p_i $ 의 공동 점근적 영역에서 비스무딩 및 스무딩 처리된 경험 워셔스타인 바리센터의 수렴 속도는 어떻게 비교되는가?
• RQ3 제안된 경험 바리센터 추정기는 워셔스타인 거리 척도에서 최대위험 최적인가?
• RQ4 워셔스타인 바리센터 프레임워크는 랜덤 측도의 단계적 변동성(Phase variability)과 진폭 변동성(Amplitude variability)을 어느 정도 반영하는가?
• RQ5 제안된 방법은 기능적 데이터 분석에서의 곡선 정렬 문제와 어떻게 관련이 있는가?

주요 결과

• 추정기와 진정한 바리센터 사이의 기대 $ n^{-1/2} $-스케일링 워셔스타인 거리에 대한 최대위험 하한은 기저 측도의 정규성에 따라 결정되는 양수 상수로 아래에서 유계이다.
• 비스무딩 경험 워셔스타인 바리센터는 적절한 모멘트 및 밀도 정규성 조건 하에서 최대위험 수렴 속도 $ n^{-1/2} $ 를 달성한다.
• 스무딩 경험 워셔스타인 바리센터 역시 최대위험 수렴 속도 $ n^{-1/2} $ 를 달성하며, 이 속도는 커널 스무딩 단계에서의 밴드폭 선택에 따라 달라진다.
• 유계된 클룰백-라이블러 발산을 갖는 이중가설 검정 문제를 구성하고 Tsybakov의 부등식을 적용함으로써, 이 수렴 속도가 최대위험 측면에서 최적임을 확인.
• 워셔스타인 바리센터가 랜덤 측도의 단계적 및 진폭 변동성 처리에 자연스러운 도구임을 입증하며, 이는 곡선 정렬 문제와의 연결 고리 설정.
• 수치 실험을 통해 이론적 수렴 속도가 확인되었으며, 다양한 표본 추출 조건 하에서도 바리센터 추정기의 강건성을 입증.