[논문 리뷰] Sinkhorn Divergences for Unbalanced Optimal Transport

Thibault Séjourné, Jean Feydy외 3명|arXiv (Cornell University)|2019. 10. 28.

Point processes and geometric inequalities참고 문헌 70인용 수 24

한 줄 요약

이 논문은 비균형 최적 운반과 엔트로피 정규화를 조합하여 이상치, 누락된 데이터, 샘플링 노이즈에 대해 강건한 손실 함수의 새로운 클래스인 비균형 Sinkhorn 발산을 제안한다. 이 방법은 볼록성, 정부정성, 약한 수렴의 메트리제이션을 보장하며, 광범위한 비균형 설정에서 관련 Sinkhorn 알고리즘의 선형 수렴을 보인다.

ABSTRACT

Optimal transport induces the Earth Mover's (Wasserstein) distance between probability distributions, a geometric divergence that is relevant to a wide range of problems. Over the last decade, two relaxations of optimal transport have been studied in depth: unbalanced transport, which is robust to the presence of outliers and can be used when distributions don't have the same total mass; entropy-regularized transport, which is robust to sampling noise and lends itself to fast computations using the Sinkhorn algorithm. This paper combines both lines of work to put robust optimal transport on solid ground. Our main contribution is a generalization of the Sinkhorn algorithm to unbalanced transport: our method alternates between the standard Sinkhorn updates and the pointwise application of a contractive function. This implies that entropic transport solvers on grid images, point clouds and sampled distributions can all be modified easily to support unbalanced transport, with a proof of linear convergence that holds in all settings. We then show how to use this method to define pseudo-distances on the full space of positive measures that satisfy key geometric axioms: (unbalanced) Sinkhorn divergences are differentiable, positive, definite, convex, statistically robust and avoid any "entropic bias" towards a shrinkage of the measures' supports.

연구 동기 및 목표

• 이상치, 누락된 데이터, 샘플링 노이즈에 강건한 확률 측도 비교를 위한 강건한 손실 함수를 개발하기 위해.
• 비균형 최적 운반과 엔트로피 정규화를 조합하여 안정성과 계산 효율성을 향상시키기 위해.
• 새로운 발산에 대한 이론적 보장을 확립하기 위해, 볼록성, 정부정성, 약한 수렴의 메트리제이션을 포함하여.
• 관련된 Sinkhorn 알고리즘의 비균형 설정에서의 수렴 성질을 분석하기 위해.
• 실제 문제, 예를 들어 3D 형태 정렬과 3D 시점 흐름 추정에 대한 방법의 실용적 이점을 입증하기 위해.

제안 방법

• 엔트로피 정규화와 Csiszàr φ-발산을 기반으로 한 비균형 최적 운반의 대칭화되고 정규화된 버전인 비균형 Sinkhorn 발산을 제안한다.
• 엔트로피 정규화된 비균형 최적 운반 문제의 이중형식을 도입하여, Sinkhorn 알고리즘을 통한 효율적 계산을 가능하게 한다.
• 비용 함수와 정규화 파라미터에 대한 온건한 가정 하에, Sinkhorn 알고리즘을 사용해 발산을 선형 수렴 속도로 계산한다.
• 이중형식 프레임워크를 적용하여, 실증 측도에 대한 최적 운반 값의 민감도를 제한함으로써, RKHS 내에서 일반화 보장을 가능하게 한다.
• 이중 잠재변수의 소볼레프 정규성 분석을 활용하여, 편향에 대한 수렴 속도와 안정성 한계를 유도한다.
• 커널 기반 노름과 보편 커널을 활용하여 약한 ∗ 수렴의 메트리제이션을 보장하며, 표준 φ-발산보다 기하학적 민감도를 향상시킨다.

실험 결과

연구 질문

• RQ1 엔트로피 정규화를 적용한 비균형 최적 운반은 약한 수렴을 메트리제이션할 수 있는 안정적이고 볼록적이며 정부정적인 발산을 제공할 수 있는가?
• RQ2 일반적인 비균형 설정에서 비균형 최적 운반을 위한 Sinkhorn 알고리즘이 선형으로 수렴하는가?
• RQ3 제안된 발산은 표준 최적 운반 또는 φ-발산에 비해 이상치와 샘플링 노이즈에 대해 어떻게 더 강건한가?
• RQ4 비균형 Sinkhorn 발산이 측도의 실증적 근사에 대해 민감도를 갖는 데 대해 어떤 이론적 보장을 확보할 수 있는가?
• RQ5 이 방법은 3D 형태 정렬 및 시점 흐름 추정과 같은 실제 문제에 효과적으로 적용될 수 있는가?

주요 결과

• 비균형 Sinkhorn 발산은 볼록성, 정부정성, 법 수렴의 메트리제이션을 확보하여 측도 간의 의미 있는 기하학적 비교를 보장한다.
• 광범위한 비균형 설정에서 관련 Sinkhorn 알고리즘이 선형으로 수렴하여 효율적인 계산이 가능하다.
• 3D 시점 흐름 추정 및 기울기 흐름 응용에서 이상치와 샘플링 노이즈에 대한 개선된 강건성을 입증하였다.
• 이론적 경계는 발산이 실증적 근사에 대해 안정적이며, 오차가 이중 잠재변수의 소볼레프 노름에 의해 제어됨을 보여준다.
• 이중 잠재변수의 정규성은 소볼레프 공간 내에서 나타나며, ε → 0일 때 노름이 O(1/ε^{s−1})로 척도가 조정됨으로써 수렴 분석을 지원한다.
• RKHS 내에서 PAC 프레임워크를 통해 일반화 보장을 가능하게 하며, 오차 경계는 이중 함수 공간 내 실증 측도 수렴에 따라 달라진다.