[논문 리뷰] Smooth and Sparse Optimal Transport

Mathieu Blondel, Vivien Seguy외 1명|arXiv (Cornell University)|2017. 10. 17.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 37

한 줄 요약

이 논문은 강력한 볼록성 조건을 갖는 제약 조건을 적용하여 원형 및 이중 최적 운반 문제를 정규화함으로써 매끄럽고 희소적인 최적 운반 프레임워크를 제안한다. 특히 제곱 $2$-노름과 그룹 라소 정규화를 사용한다. 엔트로피 정규화와 달리, 이 방법은 희소 운반 계획을 도출하면서도 미분 가능성과 Sinkhorn 알고리즘을 통한 효율적 최적화를 유지한다. 이론적 분석을 통해 엔트로피 정규화보다 약간 낮은 근사 오차를 가질 수 있음을 보여준다.

ABSTRACT

Entropic regularization is quickly emerging as a new standard in optimal transport (OT). It enables to cast the OT computation as a differentiable and unconstrained convex optimization problem, which can be efficiently solved using the Sinkhorn algorithm. However, entropy keeps the transportation plan strictly positive and therefore completely dense, unlike unregularized OT. This lack of sparsity can be problematic in applications where the transportation plan itself is of interest. In this paper, we explore regularizing the primal and dual OT formulations with a strongly convex term, which corresponds to relaxing the dual and primal constraints with smooth approximations. We show how to incorporate squared $2$-norm and group lasso regularizations within that framework, leading to sparse and group-sparse transportation plans. On the theoretical side, we bound the approximation error introduced by regularizing the primal and dual formulations. Our results suggest that, for the regularized primal, the approximation error can often be smaller with squared $2$-norm than with entropic regularization. We showcase our proposed framework on the task of color transfer.

연구 동기 및 목표

• 엔트로피 정규화된 최적 운반에서의 희소성 부족 문제를 해결하기 위해, 해석 가능성이 중요한 응용 분야(예: 색상 이동 및 도메인 적응)에서 사용할 수 없는 밀도 높은 운반 계획을 생성한다.
• 강력한 볼록성 정규화를 통해 희소 해를 도출하면서도, 미분 가능성과 수렴 속도를 유지하는 매끄러운 최적화 프레임워크를 개발한다.
• 정규화에 의해 유도되는 근사 오차를 이론적으로 경계함으로써, 제곱 $2$-노름 정규화가 엔트로피 정규화보다 오차 경계 측면에서 더 우수할 수 있음을 보여준다.
• 그룹 라소와 같은 비가속성 정규화를 포함시켜 운반 계획에서 구조적 희소성을 가능하게 하기 위해 프레임워크를 일반화한다.
• L-BFGS와 같은 효율적 솔버를 사용할 수 있도록 이중 및 반이중 형태를 제공함으로써, Dykstra 알고리즘 대비 수렴 속도를 향상시킨다.

제안 방법

• 임의의 강력한 볼록 함수 $\Omega$를 원형 최적 운반 문제에 정규화하여 부드러운 이중 및 반이중 형태를 도출한다.
• 정규화 항을 $\delta_\Omega$ 및 $\text{max}_\Omega$ 함수로 추상화함으로써 이중 및 반이중 표현을 유도하고, 최적화의 유연성을 높인다.
• 원형에 제곱 $2$-노름 정규화 $\frac{1}{2\gamma}\|T\mathbf{1}_n - \mathbf{a}\|^2$를 통합함으로써, $\mathbf{a}$의 마진널 제약 조건을 부드러운 근사로 완화한다.
• 제곱 유클리드 거리를 사용하여 원형의 마진널 제약 조건을 부드럽게 완화함으로써, 이중에 제곱 $2$-노름 정규화를 추가한 것과 동치임을 보여준다.
• 그룹 라소 정규화를 적용하여 그룹 희소 운반 계획을 유도함으로써, 응용 분야에서의 구조적 희소성에 유용하다.
• 정규화된 문제의 부드러움을 활용하여 L-BFGS와 같은 효율적인 준뉴턴 솔버를 사용함으로써, 전통적인 교대 최소화 방법 대비 수렴 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 원형 및 이중 최적 운반 문제에 강력한 볼록성 정규화를 적용할 경우, 희소 운반 계획을 도출하면서도 부드러움과 미분 가능성을 유지할 수 있는가?
• RQ2 제곱 $2$-노름 정규화의 근사 오차는 엔트로피 정규화와 비교해 볼 때 최적 운반 거리 오차 경계 측면에서 어떻게 다른가?
• RQ3 그룹 라소와 같은 비가속성 정규화로 프레임워크를 확장할 수 있는가? 이는 운반 계획에서의 구조적 희소성을 가능하게 한다.
• RQ4 제곱 유클리드 거리를 사용해 원형의 마진널 제약 조건을 부드럽게 완화할 경우, 직접 정규화한 경우와 유사한 희소 계획을 도출할 수 있는가?
• RQ5 유도된 이중 및 반이중 형태는 L-BFGS와 같은 현대적 솔버를 사용해 Dykstra 알고리즘 대비 더 빠른 수렴을 가능하게 하는가?

주요 결과

• 제안된 제곱 $2$-노름 정규화된 최적 운반 형태는 희소 운반 계획을 생성하며, 색상 이동 실험에서 90%의 희소도를 기록했다. 이는 비정규화된 최적 운반(94%)과 유사하고, 엔트로피 정규화(0% 희소도)와는 뚜렷한 대비를 이룬다.
• 제곱 $2$-노름 정규화를 적용한 정규화된 원형의 근사 오차는 이론적으로 경계되며, 동일한 정규화 파rameter $\gamma$를 사용할 경우 엔트로피 정규화보다 더 작은 오차를 가질 수 있음을 보여준다.
• 제곱 유클리드 거리를 사용해 원형의 마진널 제약 조건을 완화하면, 이중에 제곱 $2$-노름 정규화를 추가한 것과 동치임을 보여주며, 실험적으로 91%의 희소도를 기록한 희소 계획을 도출한다.
• 이 프레임워크는 그룹 라소와 같은 비가속성 정규화를 지원하여 운반 계획에서의 구조적 희소성을 가능하게 하며, 이는 엔트로피 정규화로는 달성할 수 없는 것이다.
• 유도된 이중 및 반이중 형태는 L-BFGS와 같은 효율적 준뉴턴 솔버를 사용할 수 있게 하여, 느슨하게 정규화된 문제에서 Dykstra 알고리즘 대비 수렴 속도가 크게 향상된다.
• 이론적 분석을 통해 부드러운 이중 및 반이중 형태가 잘 정의되어 있고, 미분 가능함을 보여주며, 기계 학습 파ip라인에서 미분 가능한 손실 함수로 사용될 수 있음을 입증한다.