[논문 리뷰] Sinkhorn Distances: Lightspeed Computation of Optimal Transportation Distances

Marco Cuturi|arXiv (Cornell University)|2013. 06. 04.

Advanced Image and Video Retrieval Techniques참고 문헌 18인용 수 70

한 줄 요약

이 논문은 엔트로피 정규화를 사용하여 최적 운반 거리의 미분 가능하고 빠른 근사치인 Sinkhorn 거리를 소개한다. 최적 운반 문제에 엔트로피 항을 추가함으로써, 저자들은 Sinkhorn-Knopp 알고리즘을 통해 계산을 가능하게 하여 기존의 해법 대비 수개의 순서만큼 빠른 속도 향상을 이끌었으며, MNIST 분류와 같은 벤치마크 과제에서 성능을 유지하거나 향상시켰다.

ABSTRACT

Optimal transportation distances are a fundamental family of parameterized distances for histograms. Despite their appealing theoretical properties, excellent performance in retrieval tasks and intuitive formulation, their computation involves the resolution of a linear program whose cost is prohibitive whenever the histograms' dimension exceeds a few hundreds. We propose in this work a new family of optimal transportation distances that look at transportation problems from a maximum-entropy perspective. We smooth the classical optimal transportation problem with an entropic regularization term, and show that the resulting optimum is also a distance which can be computed through Sinkhorn-Knopp's matrix scaling algorithm at a speed that is several orders of magnitude faster than that of transportation solvers. We also report improved performance over classical optimal transportation distances on the MNIST benchmark problem.

연구 동기 및 목표

• 히스토그램의 차원 d가 수백 이상일 경우에 비례하여 계산 비용이 급격히 증가하는 최적 운반 거리의 높은 계산 비용 문제를 해결하기 위해.
• 대규모 머신러닝 응용 분야에서 최적 운반 거리의 실용적 적용을 가능하게 하기 위해 계산 시간을 극적으로 단축시키기 위해.
• 이론적 성질을 유지하면서도 효율성을 향상시킨 Earth Mover's Distance (EMD)의 대체로 사용 가능한, 미분 가능한 확장 가능한 방법을 개발하기 위해.
• 엔트로피 정규화가 수치적으로 안정적이고 병렬 처리가 가능한 알고리즘을 이끌어내어 GPGPU 가속화에 적합하다는 것을 보여주기 위해.

제안 방법

• 기본적인 최적 운반 문제에 엔트로피 페널티 항을 추가하여 선형 프로그래밍 문제를 엄밀히 볼록 최적화 문제로 변형한다.
• 정규화된 문제를 해결하기 위해 Sinkhorn-Knopp 행렬 스케일링 알고리즘을 사용하며, 이는 선형 수렴 속도를 가지며 쉽게 병렬화할 수 있다.
• Sinkhorn 거리를 정규화된 최적 운반 문제의 해로 정의하며, 정규화 파라미터 λ는 정확도와 속도 사이의 트레이드오프를 제어한다.
• 행과 열의 합을 반복적으로 스케일링하여 이중 변수를 갱신함으로써 수렴할 때까지 반복하는 방식으로 알고리즘을 구현하며, 최적 운반 계획을 근사하는 행렬 P를 도출한다.
• Sinkhorn 반복의 미분 가능성에 기반하여 딥러닝 파ip라인 내에서 엔드 투 엔드 학습을 가능하게 한다.
• 실제로 수렴 기준과 무관하게 고정된 반복 횟수를 사용하여 병렬 하드웨어에서 예측 가능하고 빠른 실행을 보장한다.

실험 결과

연구 질문

• RQ1 엔트로피 정규화가 성능을 손상시키지 않으면서도 최적 운반 거리 계산 속도를 크게 향상시킬 수 있는가?
• RQ2 Sinkhorn-Knopp 알고리즘은 전통적인 최적 운반 해법에 비해 확장 가능하고, 미분 가능한 대안을 제공하는가?
• RQ3 표준 벤치마크인 MNIST에서 Sinkhorn 거리의 성능은 Earth Mover’s Distance (EMD)와 비교해 어떻게 되는가?
• RQ4 고차원 입력 조건에서도 Sinkhorn 거리는 대규모 머신러닝 응용 분야에서 효과적으로 사용될 수 있는가?
• RQ5 정규화 파라미터 λ가 계산 속도와 근사 정확도 사이의 트레이드오프에 미치는 영향은 무엇인가?

주요 결과

• Sinkhorn 거리는 전통적인 최적 운반 해법보다 수개의 순서만큼 더 빠른 계산 속도를 달성하며, 지형 거리에 대한 가정 없이도 성능을 유지한다.
• MNIST 벤치마크에서 Sinkhorn 거리는 전통적인 Earth Mover’s Distance (EMD)보다 분류 정확도에서 뛰어난 성능을 보였다.
• Sinkhorn-Knopp 알고리즘은 선형 수렴 속도를 가지며 매우 병렬 처리가 가능하여 GPGPU 가속화에 적합하다.
• 구조적 가정이나 사전 처리 없이도 다양한 지형 거리에 대해 강건하게 작동한다.
• 정규화 파라미터 λ의 합리적인 작은 값이 더 큰 값보다 더 뛰어난 성능을 내며, 낮은 정규화를 선호한다는 명확한 경향을 보였다.
• 엔트로피 정규화는 딥러닝 프레임워크에 통합 가능한, 미분 가능한 거리 측정법을 제공한다.