[논문 리뷰] Optimal Transport losses and Sinkhorn algorithm with general convex regularization

Simone Di Marino, Augusto Gerolin|arXiv (Cornell University)|2020. 07. 02.

Advanced Optimization Algorithms Research참고 문헌 42인용 수 9

한 줄 요약

이 논문은 샤논 엔트로피 정규화를 초월하여 일반적인 볼록 정규화 최적 운반(OT) 손실의 클래스를 소개한다. 이는 이중성과 일반화된 변환을 활용하여 이로 인해 유도되는 일반화된 싱크호른 알고리즘의 존재성, 연속성, 미분 가능성, 수렴 보장 등을 이산 및 연속 설정 모두에서 확립한다. 응용 분야로는 다중 경계 OT와 워셔스타인 바리센터가 포함된다.

ABSTRACT

We introduce a new class of convex-regularized Optimal Transport losses, which generalizes the classical Entropy-regularization of Optimal Transport and Sinkhorn divergences, and propose a generalized Sinkhorn algorithm. Our framework unifies many regularizations and numerical methods previously appeared in the literature. We show the existence of the maximizer for the dual problem, complementary slackness conditions, providing a complete characterization of solutions for such class of variational problems. As a consequence, we study structural properties of these losses, including continuity, differentiability and provide explicit formulas for the its gradient. Finally, we provide theoretical guarantees of convergences and stability of the generalized Sinkhorn algorithm, even in the continuous setting. The techniques developed here are directly applicable also to study Wasserstein barycenters or, more generally, multi-marginal problems.

연구 동기 및 목표

• 기존의 정규화된 최적 운반 방법을 샤논 엔트로피를 초월하여 통합하고 일반화하여 기계학습 분야에서 더 넓은 적용 가능성을 확보하기 위해.
• 새로운 볼록 정규화 OT 손실의 이론적 기초—존재성, 연속성, 미분 가능성—를 확립하기 위해.
• 일반적인 볼록 정규화 하에서 수렴성과 안정성을 유지하는 일반화된 싱크호른 알고리즘의 개발 및 분석을 위해.
• 다중 경계 최적 운반 문제와 워셔스타인 바리센터에 이 프레임워크를 확장하고 이론적 보장을 제공하기 위해.
• 수치 계산을 위한 명시적 기울기 공식과 메쉬에 영향을 받지 않는 수렴 결과를 제공하기 위해.

제안 방법

• 정규화 항에 볼록 함수 $\Phi$ 를 사용하여 일반적인 볼록 정규화 OT 문제를 수식화함으로써, 엔트로피와 싱크호른 분열을 일반화함.
• 정규화된 OT 문제의 이중 형태를 유도하고 잠재 함수를 위한 일반화된 $\Phi$-변환을 정의함.
• 이중 잠재 함수의 교대 최대화를 통해 $\Phi$-변환을 이용한 일반화된 싱크호른 알고리즘을 제안함.
• 이산 및 연속 설정 모두에서 $L^p$-노름 기반으로 알고리즘의 수렴성과 안정성을 증명함. 이는 메esh 크기와 무관함.
• 최적 해를 완전히 특징짓기 위해 보완 타당성 조건과 이중성 조건을 확립함.
• 재귀적 $\Phi$-변환을 사용하여 다중 경계 OT 문제로 프레임워크를 확장하고 일반화된 다중 경계 싱크호른 알고리즘의 수렴성을 증명함.

실험 결과

연구 질문

• RQ1 샤논 엔트로피를 초월한 임의의 볼록 정규화에 대해 싱크호른 알고리즘이 일반화될 수 있는가?
• RQ2 볼록 정규화 OT 손실의 구조적 성질—연속성, 미분 가능성, 기울기 공식—은 무엇인가?
• RQ3 일반화된 싱크호른 알고리즘이 이산 및 연속 설정 모두에서 수렴하기 위한 조건은 무엇인가?
• RQ4 이중성 프레임워크는 일반적인 볼록 정규화를 갖는 다중 경계 최적 운반 문제로 어떻게 확장될 수 있는가?
• RQ5 일반화된 OT 문제에 대해 볼록 정규화 하에서 존재성, 유일성, 안정성 등의 이론적 보장을 어떻게 확립할 수 있는가?

주요 결과

• 이중 문제의 최대값 존재성과 보완 타당성 조건이 증명되었으며, 이는 원래 문제의 최적 해를 완전히 특징짓는 데 기여함.
• 볼록 정규화 OT 손실이 근본적으로 쌍대-강 연속성(weak*-continuity)을 가지며, 명시적 기울기 공식을 갖는다.
• 일반화된 싱크호른 알고리즘이 $L^p$-노름 기반으로 최적 운반 계획으로 수렴하며, 이는 이산화 메쉬 크기와 무관함.
• 알고리즘이 연속 설정에서도 안정성과 수렴성을 유지하며, 이는 이산 및 연속 OT 문제에 대한 이론적 보장을 제공함.
• 이 프레임워크는 다중 경계 최적 운반 문제로 일반화되며, 일반화된 다중 경계 싱크호른 알고리즘의 수렴성에 대한 증명이 존재함.
• 이 방법은 다양한 기존 정규화를 통합하며, 생성 모델링 및 바리센터 계산 분야의 실용적 응용을 위한 이론적 기초를 제공함.