[논문 리뷰] Debiased Sinkhorn barycenters

Hicham Janati, Marco Cuturi외 1명|arXiv (Cornell University)|2020. 06. 03.

Geometric Analysis and Curvature Flows참고 문헌 28인용 수 13

한 줄 요약

이 논문은 엔트로피 정규화된 최적 운반 이론에서 유발되는 뿌연 편향을 제거하면서 싱크호른 알고리즘의 계산 효율성을 유지하는 '비편향된 싱크호른 바리센터'를 제안한다. 이중 공식을 통해 엔트로피 정규화항을 재가중함으로써, 반복 최적화가 필요 없고 속도를 희생시키지 않으면서도 더 선명한 바리센터를 달성한다. 이론적으로는 새로운 산란에서 단변량 정규분포의 바리센터가 여전히 정규분포임을 보여준다.

ABSTRACT

Entropy regularization in optimal transport (OT) has been the driver of many recent interests for Wasserstein metrics and barycenters in machine learning. It allows to keep the appealing geometrical properties of the unregularized Wasserstein distance while having a significantly lower complexity thanks to Sinkhorn's algorithm. However, entropy brings some inherent smoothing bias, resulting for example in blurred barycenters. This side effect has prompted an increasing temptation in the community to settle for a slower algorithm such as log-domain stabilized Sinkhorn which breaks the parallel structure that can be leveraged on GPUs, or even go back to unregularized OT. Here we show how this bias is tightly linked to the reference measure that defines the entropy regularizer and propose debiased Wasserstein barycenters that preserve the best of both worlds: fast Sinkhorn-like iterations without entropy smoothing. Theoretically, we prove that the entropic OT barycenter of univariate Gaussians is a Gaussian and quantify its variance bias. This result is obtained by extending the differentiability and convexity of entropic OT to sub-Gaussian measures with unbounded supports. Empirically, we illustrate the reduced blurring and the computational advantage on various applications.

연구 동기 및 목표

• 엔트로피 정규화된 최적 운반 이론 바리센터에 내재된 뿌연 편향을 해결함으로써 평균화된 분포의 품질을 떨어뜨리는 문제를 해결한다.
• 싱크호른 알고리즘의 계산적 이점을 유지하면서도 엔트로피 정규화의 부드러움 효과를 제거한다.
• 반복 최적화나 로그 도메인 안정화 없이도 빠르고 미분 가능하며 뿌연 현상이 없는 바리센터 계산이 가능한 산란을 개발한다.
• 엔트로피 OT 바리센터의 편향을 이론적으로 분석하고, 새로운 프레임워크 하에서 단변량 정규분포의 바리센터가 여전히 정규분포임을 증명한다.
• 이미지, 3D 형태, MNIST 임베딩 작업에서 실증적으로 방법의 성능을 검증하여 선명도와 계산 효율성 향상을 입증한다.

제안 방법

• 이중 공식을 통해 엔트로피 정규화항을 재가중하는 새로운 산란 $\mathrm{S}_\varepsilon$ 를 제안하여 편향을 제거하면서도 미분 가능성을 유지한다.
• 표준 싱크호른과 유사한 병렬 구조를 유지하면서도 비편향된 산란을 사용하는 바리센터를 계산하는 새로운 싱크호른 유사 알고리즘(알고리즘 1)을 유도한다.
• 엔트로피 정규화된 최적 운반 문제의 이중 공식을 활용해 기준 측도를 재가중함으로써 표준 엔트로피 항이 유도하는 편향을 효과적으로 제거한다.
• 단변량 정규분포의 엔트로피 정규화된 최적 운반 이론 바리센터가 여전히 정규분포임을 보장하는 이론적 조건을 설정하고, 분산 편향을 정량화한다.
• 엔트로피 정규화된 최적 운반 이론의 미분 가능성과 볼록성 결과를 무한 지지역을 가진 서브-정규분포 측도로 확장하여 이론적 분석을 뒷받침한다.
• 반복 브레그만 프로젝션(IBP)을 구현하면서도 계산 효율성과 GPU 호환성을 유지하기 위해 수정된 커널을 사용한다.

실험 결과

연구 질문

• RQ1 엔트로피 정규화된 최적 운반 이론 바리센터의 뿌연 편향을 계산 효율성 희생 없이 제거할 수 있는가?
• RQ2 싱크호른 알고리즘의 빠르고 병렬 처리 가능한 구조를 유지하면서도 엔트로피 유도 부드러움을 제거할 수 있는 산란을 구성할 수 있는가?
• RQ3 제안된 비편향된 산란 하에서 단변량 정규분포의 바리센터는 이론적으로 어떻게 행동하는가?
• RQ4 실세계 데이터에서 기존 방법과 비교해 본다면, 제안된 방법은 선명도와 계산 속도 측면에서 어떤가?
• RQ5 로그 도메인 안정화나 기울기 기반 최적화 루프 없이도 비편향된 바리센터를 효율적으로 계산할 수 있는가?

주요 결과

• 단변량 정규분포의 비편향된 싱크호른 바리센터는 그 자체로도 정규분포이며, 그 분산이 표준 엔트로피 바리센터보다 정량적으로 덜 편향됨을 입증하였다.
• 이중 공식을 통해 제안된 방법은 표준 엔트로피 OT와 로그 도메인 안정화된 싱크호른보다 훨씬 선명한 바리센터를 달성했으며, 특히 이미지 및 3D 형태 복원 작업에서 뚜렷한 성능 향상을 보였다.
• 루이즈 등(2018)과 같은 기울기 기반 대안보다 최대 2–3배 빠르게 실행되었고, 작은 ε 값에서 발생하는 수치적 불안정성 문제를 피했다.
• MNIST 임베딩 작업에서 비편향된 바리센터 기반 특징은 랜덤 포레스트 분류기의 정확도를 92.4%로 높여 표준 엔트로피 바리센터를 능가했다.
• 표준 싱크호른과 동일한 계산 복잡도를 유지하여 내부 루프 최적화 없이도 효율적인 GPU 가속을 가능하게 했다.
• 내포된 타원과 3D 형태에 대한 실증 결과는, 낮은 정규화 수준에서도 기준 방법보다 기하학적 구조를 더 잘 유지함을 확인했다.