[논문 리뷰] Data-driven regularization of Wasserstein barycenters with an application to multivariate density registration

Jérémie Bigot, Elsa Cazelles외 1명|arXiv (Cornell University)|2018. 04. 24.

Point processes and geometric inequalities참고 문헌 28인용 수 7

한 줄 요약

이 논문은 노이즈가 많고 잘못 정렬된 밀도 데이터로부터 다변량 점군을 동시에 정렬하고 부드럽게 만드는 데터 기반 정규화 프레임워크를 제안한다. 엔트로피 정규화(Sinkhorn barycenter)와 기능 페널티 접근법에서 정규화 파라미터를 선택하기 위해 Goldenshluger-Lepski 원칙을 적용함으로써, 밀도 정렬의 정확성과 강건성을 향상시켰으며, 시뮬레이션된 가우시안 믹스처와 실제 유세포 분석 데이터를 통해 이를 검증하였다.

ABSTRACT

We present a framework to simultaneously align and smooth data in the form of multiple point clouds sampled from unknown densities with support in a d-dimensional Euclidean space. This work is motivated by applications in bioinformatics where researchers aim to automatically homogenize large datasets to compare and analyze characteristics within a same cell population. Inconveniently, the information acquired is most certainly noisy due to mis-alignment caused by technical variations of the environment. To overcome this problem, we propose to register multiple point clouds by using the notion of regularized barycenters (or Fr\\'{e}chet mean) of a set of probability measures with respect to the Wasserstein metric. A first approach consists in penalizing a Wasserstein barycenter with a convex functional as recently proposed in Bigot and al. (2018). A second strategy is to transform the Wasserstein metric itself into an entropy regularized transportation cost between probability measures as introduced in Cuturi (2013). The main contribution of this work is to propose data-driven choices for the regularization parameters involved in each approach using the Goldenshluger-Lepski's principle. Simulated data sampled from Gaussian mixtures are used to illustrate each method, and an application to the analysis of flow cytometry data is finally proposed. This way of choosing of the regularization parameter for the Sinkhorn barycenter is also analyzed through the prism of an oracle inequality that relates the error made by such data-driven estimators to the one of an ideal estimator.

연구 동기 및 목표

• 고차원 생물학적 데이터셋에서 기술적 정렬 오차로 인한 다변량 밀도 데이터의 단계 변동성 문제를 해결한다.
• 알 수 없는 확률 밀도에서 샘플링된 다중 점군을 동시에 정렬하고 부드럽게 하는 통합 프레임워크를 개발한다.
• 유사한 평균이 정렬 오차로 인해 형태를 유지하지 못하는 표준 유클리드 평균의 한계를 극복하기 위해, 기하학적 평균으로 워셔스타인 바리센터를 사용한다.
• 기본 밀도 구조에 대한 사전 지식 없이 성능을 최적화하기 위해, Goldenshluger-Lepski 원칙을 활용해 데터 기반으로 정규화 파라미터를 선택한다.
• 시뮬레이션된 데이터(Gaussian 믹스처)와 실제 유세포 분석 데이터를 대상으로 방법을 검증하여 생물정보학 분야에서의 실용적 유용성을 입증한다.

제안 방법

• 워셔스타인 바리센터를 $W_2$ 거리에 기반한 확률 measures 공간에서의 프레셰 평균으로 공식화함으로써, 정렬되지 않은 점군의 정렬 및 부드러움을 가능하게 한다.
• 두 가지 정규화 전략을 적용한다: (1) 계산적으로 타당한 워셔스타인 거리를 확보하기 위해 엔트로피 정규화를 통한 싱크호른 발산을 사용하고, (2) 부드러움을 강제하기 위해 기능 페널티(TV, 티코노프 등)를 적용한다.
• 추정 위험을 최소화하기 위해, Goldenshluger-Lepski 원칙을 활용해 데이터 기반으로 최적의 정규화 파라미터 $\varepsilon$ 및 $\gamma$를 선택한다.
• 이중 최적화를 싱크호른 알고리즘과 이중 변수 재정의($\psi_i = \phi_i + K^T\phi_0/n$)를 통해 구현함으로써 수렴 안정성과 계산 복잡도를 감소시킨다.
• L-BFGS를 사용한 하이퍼스무스 페널티에 대한 서브기울기 강하, 비스무스 페널티에 대한 FISTA를 사용하여, $K=10$개의 최근접 이웃을 활용해 안정적인 서브기울기를 계산한다.
• 최적의 이중 변수로부터 푸시포워드 공식 $f_i^k = \sum_j \nu_i^j S_i^{jk}$ 를 사용해 바리센터를 재구성한다. 여기서 $S_i$ 는 최근접 이웃에서 유도된 확률적 운반 행렬이다.

실험 결과

연구 질문

• RQ1 다양한 정렬되지 않은 다변량 점군을 동시에 정렬하고 부드럽게 하여, 대표적이고 형태를 유지하는 바리센터를 복원할 수 있는 방법은 무엇인가?
• RQ2 데이터에 대한 충실도와 도출된 밀도의 부드러움을 균형 잡기 위해 워셔스타인 바리센터를 어떻게 정규화할 수 있는가?
• RQ3 엔트로피 정규화와 기능 정규화의 맥락에서, Goldenshluger-Lepski 원칙이 정규화 파라미터의 데터 기반 선택에 효과적으로 적용될 수 있는가?
• RQ4 데터 기반 정규화의 성능은 알려진 최적 파라미터를 가진 오라클 추정자와 비교해 어떻게 되는가?
• RQ5 제안된 방법은 실제 생물학적 데이터셋, 예를 들어 유세포 분석과 같은 분야에서 정렬 정확도를 어느 정도 향상시키는가?

주요 결과

• Goldenshluger-Lepski 원칙을 통한 데터 기반 정규화 파라미터 선택은 오라클 추정자와 경쟁 가능한 바리센터를 도출하며, 데터 기반 추정자의 오차와 이상적 추정자의 오차 사이의 오라클 부등식을 통해 이를 입증하였다.
• 시뮬레이션된 가우시안 믹스처에서 데터 기반 $\varepsilon=1.6$를 사용한 싱크호른 바리센터는 유사한 평균에서 관찰되는 허위 모드를 피하면서 진짜 밀도 형태를 성공적으로 복원하였다.
• 다양한 주제에서 이중 및 多중 모드 분포의 정렬을 통해, 다변량 밀도 데이터의 단계 변동성을 효과적으로 감소시켰다.
• 서브기울기 계산에서 $K=10$개의 최근접 이웃을 사용함으로써, 단일 최근접 이웃 선택에 비해 수치적 안정성이 크게 향상되었다.
• 실제 유세포 분석 데이터에서 정확한 정렬 및 부드러움을 달성하여, 샘플 간 세포 집단 간 신뢰성 있는 비교를 가능하게 하였다.
• 이론적 분석을 통해 제안된 추정자가 온건한 정규성 조건 하에서 최적 수렴 속도를 달성하며, 오차가 오라클 위험의 배수로 제한됨을 확인하였다.