[논문 리뷰] Regularized Optimal Transport and the Rot Mover's Distance

Arnaud Dessein, Nicolas Papadakis외 1명|arXiv (Cornell University)|2016. 10. 20.

Markov Chains and Monte Carlo Methods참고 문헌 21인용 수 24

한 줄 요약

이 논문은 이산 최적 운반(OT) 문제에 대한 부드러운 볼록 정규화를 위한 통합 프레임워크를 제안하며, 브레그만 발산을 사용하여 정규화된 OT를 행렬 근접 문제로 재구성한다. 본 논문은 빠르고 확장 가능한 계산을 가능하게 하는 Rot Mover's Distance(RMD)와 효율적인 알고리즘—교대 스케일링 및 비음수 교대 스케일링—을 제안하여 다양한 정규화자에 대해 빠른 계산을 가능하게 하였으며, 음향 장면 분류에서의 실증적 검증을 통해 기준 지표들보다 뛰어난 성능을 보였다.

ABSTRACT

This paper presents a unified framework for smooth convex regularization of discrete optimal transport problems. In this context, the regularized optimal transport turns out to be equivalent to a matrix nearness problem with respect to Bregman divergences. Our framework thus naturally generalizes a previously proposed regularization based on the Boltzmann-Shannon entropy related to the Kullback-Leibler divergence, and solved with the Sinkhorn-Knopp algorithm. We call the regularized optimal transport distance the rot mover's distance in reference to the classical earth mover's distance. We develop two generic schemes that we respectively call the alternate scaling algorithm and the non-negative alternate scaling algorithm, to compute efficiently the regularized optimal plans depending on whether the domain of the regularizer lies within the non-negative orthant or not. These schemes are based on Dykstra's algorithm with alternate Bregman projections, and further exploit the Newton-Raphson method when applied to separable divergences. We enhance the separable case with a sparse extension to deal with high data dimensions. We also instantiate our proposed framework and discuss the inherent specificities for well-known regularizers and statistical divergences in the machine learning and information geometry communities. Finally, we demonstrate the merits of our methods with experiments using synthetic data to illustrate the effect of different regularizers and penalties on the solutions, as well as real-world data for a pattern recognition application to audio scene classification.

연구 동기 및 목표

• 부드러운 볼록 정규화를 사용하여 기존의 정규화된 최적 운반 방법들을 통합하고 일반화하기.
• 다양한 발산에 대해 정규화된 최적 운반 계획을 계산하기 위한 효율적인 알고리즘 개발.
• 특히 고차원 설정에서의 실증적 데이터에 대한 제안된 프레임워크의 효과성 입증.
• 응용 분야에 맞는 기준에 기반해 정규화자 선택 및 조정을 위한 유연하고 원리적인 프레임워크 제공.
• 표준 엔트로피 정규화를 넘어서 이론적 및 알고리즘적 도구를 비음수 및 분리 가능한 정규화자에까지 확장하기.

제안 방법

• 브레그만 발산에 대해 정규화된 최적 운반을 행렬 근접 문제로 재구성함으로써, 칼리브라-라이블러 및 기타 발산을 일반화.
• 비음수 부등식 영역을 갖는 정규화자에 대해 교대 스케일링 알고리즘을 개발하고, 더 넓은 범주에 속하는 정규화자에 대해 비음수 교대 스케일링 알고리즘을 제안.
• 고차원 데이터를 효율적으로 처리하기 위해 분리 가능한 정규화자에 대한 희소성 확장을 도입.
• 브레그만 사영을 반복적으로 적용하여 이중 변수를 갱신함으로써 정규화된 최적 계획으로 수렴 보장.
• 볼츠만-샤논 엔트로피, 로지스틱 손실, 텔링거 발산과 같은 잘 알려진 정규화자에 적용.
• 아핀 변환을 통한 매개변수적 접근을 활용해 정규화자 간의 유연한 조정 가능.

실험 결과

연구 질문

• RQ1 이산 최적 운반 문제에 대한 부드러운 볼록 정규화를 위한 통합 프레임워크는 어떻게 개발할 수 있는가?
• RQ2 다양한 브레그만 발산을 정규화자로 사용할 경우 최적 운반에 미치는 알고리즘적 영향은 무엇인가?
• RQ3 패턴 인식 작업에서 전통적인 지표들인 EMD, 유클리드, KL 발산과 비교해 Rot Mover's Distance(RMD)의 성능은 어떠한가?
• RQ4 희소성과 분리 가능성 덕분에 제안된 알고리즘이 고차원 데이터를 효율적으로 처리할 수 있는가?
• RQ5 실제 응용에서 다양한 정규화자가 운반 계획의 구조와 강건성에 미치는 영향은 무엇인가?

주요 결과

• RMD는 음향 장면 분류에서 유클리드, 칼리브라-라이블러, 텔링거 기반 시스템을 모두 능가하여 DCASE 2016 도전 대회에서 가장 높은 정확도를 기록했다.
• 고차원 데이터(예: 차원 256)에서는 정규화자의 선택이 성능에 크게 영향을 미치며, 저정규화 조건에서 BSKL과 LOG가 동등한 성능을 보여 유사한 결과를 낸다.
• 저차원 설정(예: 차원 ≤16)에서는 텔링거 정규화자(HELL)가 가장 뛰어난 성능을 보였으며, 이는 데이터 차원과 분포 범위에 따라 정규화자의 선택이 중요함을 시사한다.
• 교대 스케일링 및 비음수 교대 스케일링 알고리즘은 효율적으로 수렴하여 고차원 문제에 대해서도 2차 시간 복잡도로 정규화된 계획을 계산할 수 있다.
• 분리 가능한 정규화자 프레임워크의 희소성 확장 덕분에 정확도를 유지하면서도 고차원 특징 공간에서의 확장 가능한 계산이 가능하다.
• 프레임워크는 엔트로피 정규화를 넘어서 다양한 발산, 예를 들어 로지스틱, 텔링거, α-발산을 통합된 알고리즘 파ip라인에서 사용할 수 있도록 일반화되었다.