[논문 리뷰] Sinkhorn Barycenter via Functional Gradient Descent

Zebang Shen, Zhenfu Wang외 2명|arXiv (Cornell University)|2020. 07. 20.

Topological and Geometric Data Analysis참고 문헌 22인용 수 4

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS) 내 사상에 대한 비제약 최적화로 재구성된 Sinkhorn 보어센타 문제를 다루는 기능적 경사하강법인 Sinkhorn Descent(SD)를 소개한다. SD는 $\mathcal{O}(1/t)$ 속도로 정적점으로 하강 수렴하며, 경험 측도의 약한 수렴을 유지하고 차원에 대해 선형으로 확장 가능하여 이전에 접근 불가능했던 100차원 보어센타 문제를 해결할 수 있다.

ABSTRACT

In this paper, we consider the problem of computing the barycenter of a set of probability distributions under the Sinkhorn divergence. This problem has recently found applications across various domains, including graphics, learning, and vision, as it provides a meaningful mechanism to aggregate knowledge. Unlike previous approaches which directly operate in the space of probability measures, we recast the Sinkhorn barycenter problem as an instance of unconstrained functional optimization and develop a novel functional gradient descent method named Sinkhorn Descent (SD). We prove that SD converges to a stationary point at a sublinear rate, and under reasonable assumptions, we further show that it asymptotically finds a global minimizer of the Sinkhorn barycenter problem. Moreover, by providing a mean-field analysis, we show that SD preserves the weak convergence of empirical measures. Importantly, the computational complexity of SD scales linearly in the dimension $d$ and we demonstrate its scalability by solving a $100$-dimensional Sinkhorn barycenter problem.

연구 동기 및 목표

• 이전 방법에서의 지수적 지원 크기 증가로 인해 발생하는 고차원 Sinkhorn 보어센타 문제의 계산 불가능성 문제를 해결하기 위해.
• 고정된 지원 가정으로 인한 편향을 제거하기 위해 자유 지원 최적화를 가능하게 하여 보어센타 계산의 편향을 제거하기 위해.
• 고차원 공간에서 Sinkhorn 보어센타를 계산하기 위한 증명 가능하고 확장 가능한 수렴 보장 방법을 개발하기 위해.
• 데이터 샘플링에 대한 강건성을 확보하기 위해 알고리즘 반복 과정에서 경험 측도의 약한 수렴을 보장하기 위해.

제안 방법

• 재생 커널 힐버트 공간(RKHS) 내의 전이 사상에 대한 비제약 기능 최적화로 Sinkhorn 보어센타 문제를 재구성한다.
• 반응형 수렴의 비점근적 측도를 위해 커널화된 Sinkhorn 보어센타 불일치도(KSBD)를 정의한다.
• 스텝 크기를 선택하여 하강 보장이 되도록, Sinkhorn 산란도를 최소화하는 사상을 반복적으로 갱신하기 위해 기능적 경사하강법을 사용한다.
• 커널 방법을 활용해 운반 맵을 표현하고 최적화함으로써, 명시적 지원 제약 없이도 부드럽고 미분 가능한 갱신을 가능하게 한다.
• 반복 과정에서 경험 측도의 약한 수렴을 유지함을 증명하여 연속 초기화와의 일致성을 확보한다.
• 약한 가정 하에 평균장 분석을 활용해 수렴 보장을 확립하며, 이는 최적 해로의 전역 수렴을 포함한다.

실험 결과

연구 질문

• RQ1 Sinkhorn 보어센타 문제는 지원 제약 없이 사상에 대한 비제약 기능 최적화 문제로 재구성될 수 있는가?
• RQ2 사상 공간에서의 기능적 경사하강법이 $\mathcal{O}(1/t)$ 속도로 정적점으로 하향 수렴하는가?
• RQ3 유한 표본 초기화 하에서 알고리즘이 경험 측도의 약한 수렴을 유지하는가?
• RQ4 기능적 경사하강법이 어떤 조건에서 진정한 Sinkhorn 보어센타로 전역 수렴하는가?
• RQ5 이 방법의 계산 복잡도는 차원 $d$에 대해 선형으로 증가하여 고차원 문제에 대한 확장성을 보장하는가?

주요 결과

• Sinkhorn Descent(SD)는 반복 횟수 $t$에 대해 하향 수렴 속도 $\mathcal{O}(1/t)$로 정적점으로 수렴한다.
• 약한 가정 하에 SD는 Sinkhorn 보어센타 문제의 전역 최소화자를 점차적으로 찾는다.
• 알고리즘은 경험 측도의 약한 수렴을 유지한다: $\lim_{N\to\infty} \texttt{SD}^t(\alpha_N) = \texttt{SD}^t(\alpha)$로써 데이터 샘플링과의 일致성을 보장한다.
• SD의 계산 복잡도는 차원 $d$에 대해 선형으로 증가하므로 100차원 보어센타 문제를 해결할 수 있다.
• 커널화된 Sinkhorn 보어센타 불일치도(KSBD)는 $\mathcal{O}(1/t)$ 속도로 소멸하여 비점근적 수렴 측도로서 유효하다.
• SD는 이전 방법보다 확장성에서 뛰어나며, 고정된 지원 또는 교차 최적화 접근법에서 기인하는 차원에 대한 지수적 의존성을 피한다.