[논문 리뷰] Asymptotic distribution and convergence rates of stochastic algorithms for entropic optimal transportation between probability measures

Bernard Bercu, Jérémie Bigot|arXiv (Cornell University)|2018. 12. 21.

Risk and Portfolio Optimization참고 문헌 29인용 수 15

한 줄 요약

이 논문은 i.i.d. 표본을 사용하여 확률 측도 간의 싱크호른 발산—엔트로피로 정규화된 워셔스타인 거리—를 추정하기 위한 로빈스-몬로 스토하스틱 알고리즘을 제안한다. 이 알고리즘은 이산 및 반연속 설정에서 일반적인 조건 하에 강한 볼록성 없이도 거의 확실히 수렴하고, 점근 정규성과 향상된 수렴 속도를 보이며, 기대 초과 위험의 수렴 속도도 개선한다.

ABSTRACT

This paper is devoted to the stochastic approximation of entropically regularized Wasserstein distances between two probability measures, also known as Sinkhorn divergences. The semi-dual formulation of such regularized optimal transportation problems can be rewritten as a non-strongly concave optimisation problem. It allows to implement a Robbins-Monro stochastic algorithm to estimate the Sinkhorn divergence using a sequence of data sampled from one of the two distributions. Our main contribution is to establish the almost sure convergence and the asymptotic normality of a new recursive estimator of the Sinkhorn divergence between two probability measures in the discrete and semi-discrete settings. We also study the rate of convergence of the expected excess risk of this estimator in the absence of strong concavity of the objective function. Numerical experiments on synthetic and real datasets are also provided to illustrate the usefulness of our approach for data analysis.

연구 동기 및 목표

• 한 분포에서 온 i.i.d. 표본을 사용하여 싱크호른 발산을 위한 재귀적이고 데이터 기반의 추정기 개발
• 반연속 및 이산 설정에서 제안된 추정기의 거의 확실히 수렴성과 점근 정규성 입증
• 목적 함수가 강한 볼록성이 없을 경우 기대 초과 위험의 수렴 속도 분석
• 추정기의 점근 분산을 재귀적으로 추정할 수 있는 방법 제공, 통계적 추론 가능하게 함
• 이론적 결과를 정규화되지 않은 경우(ε = 0)로 확장하고, 합성 및 실세계 데이터셋에서 방법 검증

제안 방법

• 엔트로피로 정규화된 최적 운반의 반이중형식을 기대값 최대화 문제로 재작성: $ W_{\nu}(\nu,\nu) = \max_v \mathbb{E}[h_\varepsilon(X,v)] $, 여기서 $ X \sim \mu $.
• 로빈스-몬로 스토하스틱 경사 알고리즘 구현: $ \widehat{V}_{n+1} = \widehat{V}_n + \gamma_{n+1} \nabla_v h_\varepsilon(X_{n+1}, \widehat{V}_n) $, 최대화자 $ v^* $ 를 재귀적으로 추정.
• 싱크호른 발산을 위한 새로운 재귀적 추정기 $ \widehat{W}_n = \frac{1}{n} \sum_{k=1}^n h_\varepsilon(X_k, \widehat{V}_{k-1}) $ 정의.
• 마팅게일 차분 수열과 라파노프 유형 부등식을 사용하여 추정 오차 $ \Delta_n = \| \widehat{V}_n - v^* \|^2 $ 의 $ L^2 $-노름 제어.
• 카우치-슈바르츠 및 마르코프 부등식을 활용하여 $ \mathbb{E}[\Delta_n] $ 와 $ \mathbb{E}[\Delta_n^2] $ 를 포함하는 재귀 부등식을 통해 수렴성 입증.
• 점근 분산 $ \sigma^2_\varepsilon(\mu,\nu) = \mathbb{E}[h_\varepsilon^2(X,v^*)] - W_\varepsilon^2(\mu,\nu) $ 유도, 재귀적으로 추정 가능.

실험 결과

연구 질문

• RQ1 싱크호른 발산 추정을 위한 로빈스-몬로 알고리즘이 거의 확실히 진짜 발산으로 수렴하는가?
• RQ2 재귀적 추정기 $ \widehat{W}_n $ 의 점근 분포는 무엇이며, 통계적 추론에 사용될 수 있는가?
• RQ3 목적 함수가 강한 볼록성이 없을 경우 기대 초과 위험 $ H_\varepsilon(v^*) - \mathbb{E}[\widehat{W}_n] $ 의 감소 속도는 어떻게 되는가?
• RQ4 추정기의 점근 분산을 재귀적으로 일관되게 추정할 수 있는가?
• RQ5 정규화되지 않은 극한(ε → 0)에서 수렴 속도는 정규화된 경우와 비교해 어떻게 되는가?

주요 결과

• 재귀적 추정기 $ \widehat{W}_n $ 은 $ n \to \infty $ 일 때 거의 확실히 진짜 싱크호른 발산 $ W_\varepsilon(\mu,\nu) $ 로 수렴한다.
• 추정기는 점근 정규성을 만족한다: $ \sqrt{n}(\widehat{W}_n - W_\varepsilon(\mu,\nu)) \xrightarrow{d} \mathcal{N}(0, \sigma^2_\varepsilon(\mu,\nu)) $, 여기서 $ \sigma^2_\varepsilon(\mu,\nu) = \mathbb{E}[h_\varepsilon^2(X,v^*)] - W_\varepsilon^2(\mu,\nu) $.
• 기대 초과 위험은 $ 1/\sqrt{n} $ 보다 더 빠르게 감소하며, $ 2/3 < c < 1 $ 일 때 $ \mathbb{E}[\Delta_n] = \mathcal{O}(n^{-(2c-1)}) $ 의 속도로 감소하여 표준 $ 1/\sqrt{n} $ 속도를 향상시킨다.
• 점근 분산 $ \sigma^2_\varepsilon(\mu,\nu) $ 는 재귀적으로 일관되게 추정 가능하여 신뢰구간 및 가설 검정이 가능하다.
• 강한 볼록성이 없더라도 수렴 속도 분석이 성립하며, 이는 고차원 또는 특이한 설정에서의 주요 이점이다.
• 합성 및 실세계 데이터셋에서의 수치 실험은 추정기의 안정성, 정확성 및 데이터 분석 과제에서의 실용적 유용성을 확인한다.