[논문 리뷰] A fixed-point approach to barycenters in Wasserstein space

Pedro C. Álvarez-Esteban, Eustasio del Barrio외 2명|arXiv (Cornell University)|2015. 11. 17.

Geometric Analysis and Curvature Flows참고 문헌 23인용 수 14

한 줄 요약

이 논문은 $\mathcal{P}_{2,ac}$ 공간 내에서 확률 측도의 워셔스타인 바리센터를 계산하기 위한 고정점 반복 방법을 제안한다. 이 방법은 최적 운반 맵을 활용해 바리센터에 해당하는 고정점을 갖는 연산자를 정의한다. 이 접근법은 일致한 근사와 함께 빠르고 지수적으로 수렴하는 성능을 보이며, 특히 가우시안 및 위치-스케일 가족에서 두드러진다. 여기서 바리센터의 공분산은 반복적으로 해결하는 비선형 행렬 방정식으로 특징지어진다.

ABSTRACT

Let $\mathcal{P}_{2,ac}$ be the set of Borel probabilities on $\mathbb{R}^d$ with finite second moment and absolutely continuous with respect to Lebesgue measure. We consider the problem of finding the barycenter (or Fréchet mean) of a finite set of probabilities $ν_1,\ldots,ν_k \in \mathcal{P}_{2,ac}$ with respect to the $L_2-$Wasserstein metric. For this task we introduce an operator on $\mathcal{P}_{2,ac}$ related to the optimal transport maps pushing forward any $μ\in \mathcal{P}_{2,ac}$ to $ν_1,\ldots,ν_k$. Under very general conditions we prove that the barycenter must be a fixed point for this operator and introduce an iterative procedure which consistently approximates the barycenter. The procedure allows effective computation of barycenters in any location-scatter family, including the Gaussian case. In such cases the barycenter must belong to the family, thus it is characterized by its mean and covariance matrix. While its mean is just the weighted mean of the means of the probabilities, the covariance matrix is characterized in terms of their covariance matrices $Σ_1,\dots,Σ_k$ through a nonlinear matrix equation. The performance of the iterative procedure in this case is illustrated through numerical simulations, which show fast convergence towards the barycenter.

연구 동기 및 목표

• Borel 확률 측도의 공간인 $\mathcal{P}_{2,ac}$, 즉 유한한 두 번째 모멘트와 절대 연속성을 갖는 $\mathbb{R}^d$ 위의 측도 공간에서 워셔스타인 바리센터를 일致하고 계산적으로 실현 가능한 방법으로 근사하는 것.
• 바리센터가 목표 측도로 향하는 최적 운반 맵의 가중 평균으로 구성된 새로운 연산자의 고정점임을 입증하는 것.
• 특히 가우시안 가족과 같은 위치-스케일 가족에서 효과적인 반복 알고리즘을 제공하여 바리센터를 계산하는 것.
• 가우시안 경우에서 바리센터의 공분산 행렬을 비선형 행렬 방정식으로 특징지우고, 날카운 경계를 유도하는 것.
• 다양한 차원과 측도의 수에 걸쳐 반복적 방법의 수렴 속도와 안정성을 경험적으로 검증하는 것.

제안 방법

• 측도 $\mu$ 를 각 $\nu_i$ 로 향하는 최적 운반 맵의 가중 평균으로 매핑하는 $\mathcal{P}_{2,ac}$ 위의 연산자를 정의하여 새로운 측도를 생성하는 것.
• 일반 조건 하에서 바리센터가 이 연산자의 고정점이어야 한다는 것을 증명하여 반복적 접근의 이론적 기반을 확립하는 것.
• 현재 바리센터 추정치를 연산자를 적용하여 갱신하는 반복 체계(식 19)를 구축하여 진짜 바리센터로의 수렴을 보장하는 것.
• 가우시안 경우에서 바리센터의 평균은 입력 평균의 가중 평균이며, 공분산은 입력 공분산 행렬을 포함하는 비선형 행렬 방정식을 만족한다는 것을 보여주는 것.
• 행렬 분석과 최적 운반 이론을 활용하여 다변량 가우시안 간 운반 맵의 닫힌 형태 표현식을 도출하여 연산자의 효율적 계산을 가능하게 하는 것.
• 목표 함수의 감소가 허용 오차 이하가 되는 것에 기반한 정지 기준을 적용하여 반복을 구현하고, 수치 시뮬레이션을 통해 성능을 검증하는 것.

실험 결과

연구 질문

• RQ1 유한한 수의 확률 측도 $\nu_1, \dots, \nu_k \in \mathcal{P}_{2,ac}$ 에 대한 워셔스타인 바리센터는 최적 운반 맵을 기반으로 한 고정점 반복을 통해 일치적으로 근사될 수 있는가?
• RQ2 다변량 가우시안 측도의 바리센터는 가우시안 가족 내에 존재하는가? 만약 그렇다면 그 공분산 행렬은 어떻게 특징지어지는가?
• RQ3 특히 고차원 또는 고k 설정에서 기존 대안들과 비교해 본다면, 제안된 반복적 방법의 수렴 속도와 안정성은 어떠한가?
• RQ4 가우시안 경우에서 바리센터의 공분산 행렬에 대한 날카운 경계는 무엇이며, 이는 입력 공분산과 어떻게 관련되어 있는가?
• RQ5 반복적 체계는 워셔스타인 거리에서 지수 수렴을 보이며, 이 성질은 차원과 측도의 수에 따라 어떻게 스케일링되는가?

주요 결과

• $\nu_1, \dots, \nu_k \in \mathcal{P}_{2,ac}$ 의 바리센터는 운반 기반 연산자의 고정점이며, 이는 반복적 계산의 이론적 기반을 제공한다.
• 가우시안 경우에서 바리센터의 평균은 입력 평균의 가중 평균이며, 공분산은 고정점 반복으로 해결 가능한 비선형 행렬 방정식을 만족한다.
• 제안된 반복적 체계(식 19)는 목표 함수의 차이에 대한 로그의 선형 감소를 통해 지수적으로 빠르게 바리센터로 수렴함을 입증하였다.
• 수치 시뮬레이션 결과, 수렴을 위한 평균 반복 수는 중간 수준을 유지한다(예: $d=50$, $k=50$ 일 때 약 ~32회)며, 차원과 $k$ 가 증가함에 따라 느리게 증가한다. 이는 다른 체계보다 뛰어난 성능을 보인다.
• $k=5$ 이고 $d=2$ 일 때, 입력 공분산 행렬이 교환 가능하면 단지 2회의 반복(실제로는 1회의 갱신)만으로도 수렴함을 보여, 유리한 경우에 매우 빠른 수렴을 보인다.
• 이 방법은 위치-스케일 가족으로 자연스럽게 확장되며, 모든 가우시안에 대한 결과는 변환 불변성에 의해 이러한 가족에도 직접 적용 가능하다.