[논문 리뷰] Optimal Transport: Fast Probabilistic Approximation with Exact Solvers

Max Sommerfeld, Jörn Schrieber외 2명|arXiv (Cornell University)|2018. 02. 14.

Markov Chains and Monte Carlo Methods참고 문헌 37인용 수 13

한 줄 요약

이 논문은 유한한 거리 공간에서 정확한 해법기를 블랙박스 백엔드로 사용하여 최적 운반 거리의 빠르고 랜덤화된 부분집합 추정 기법을 제안한다. 많은 경우—특히 2차원 이미지에서—문제 크기와 무관한 오차 한계를 달성하여 정확한 방법보다 계산 시간을 수개의 지수만큼 빠르게 하면서도 높은 정확도를 유지한다. 이는 비점근적 농도 경계를 통해 가능하다.

ABSTRACT

We propose a simple subsampling scheme for fast randomized approximate computation of optimal transport distances. This scheme operates on a random subset of the full data and can use any exact algorithm as a black-box back-end, including state-of-the-art solvers and entropically penalized versions. It is based on averaging the exact distances between empirical measures generated from independent samples from the original measures and can easily be tuned towards higher accuracy or shorter computation times. To this end, we give non-asymptotic deviation bounds for its accuracy in the case of discrete optimal transport problems. In particular, we show that in many important instances, including images (2D-histograms), the approximation error is independent of the size of the full problem. We present numerical experiments that demonstrate that a very good approximation in typical applications can be obtained in a computation time that is several orders of magnitude smaller than what is required for exact computation of the full problem.

연구 동기 및 목표

• 대규모 응용 분야(예: 영상 분석 및 머신러닝)에서 정확한 최적 운반 거리 계산의 높은 계산 비용을 해결하기 위해.
• 모든 정확한 최적 운반 거리 해법기를 블랙박스로 사용할 수 있는 일반적인, 빠른 근사 기법을 개발하기 위해.
• 2D 히스토GRAM과 같은 중요한 경우에서 문제 크기와 무관하게 근사 오차가 증가하지 않는다는 비점근적 편차 경계를 제공하기 위해.
• 정확한 방법이 실행 시간 제약으로 인해 비가능한 환경에서 최적 운반 거리 거리를 실용적으로 계산할 수 있도록 하기 위해.

제안 방법

• 이 방법은 소스 및 타겟 측도의 i.i.d. 부분집합 추출을 통해 경험적 분포를 생성하고, 이를 임의의 정확한 해법기를 통해 정확한 최적 운반 거리로 계산한다.
• 최종 근사치는 독립적인 샘플에 대해 다수의 이러한 거리 계산 결과의 평균이다.
• 운반 비용 부등식과 워셔스타인 거리의 리프시츠 연속성에 기반하여 비점근적 오차 경계를 유도한다.
• 이 기법은 조정 가능하다: 샘플 수를 늘릴수록 정확도는 향상되지만 실행 시간은 증가한다.
• 이론적 분석에 따르면 기대 오차는 $ S^{-1/(2p)} $ 의 속도로 감소하며, 여기서 $ S $ 는 각 측도당 샘플 수이다.
• 영상 데이터에서의 수치적 검증을 통해 정확한 해법기 대비 몇 개의 지수만큼의 속도 향상을 달성하면서도 최소한의 오차로 높은 정확도를 확보하였다.

실험 결과

연구 질문

• RQ1 랜덤화된 부분집합 추정 기법이 계산 시간을 수개의 지수만큼 줄이면서도 정확한 최적 운반 거리 근사를 달성할 수 있는가?
• RQ2 실용적 환경인 2D 영상 히스토GRAM에서 근사 오차가 전체 문제 크기와 무관하게 유한하게 유지되는가?
• RQ3 부분집합 추출 하에 워셔스타인 거리에 대한 비점근적 농도 경계를 어떻게 도출할 수 있는가? 이는 신뢰할 수 있는 오차 제어를 보장한다.
• RQ4 기존의 정확한 최적 운반 거리 해법기를 얼마나 넓게 스케일러블한 근사 프레임워크의 블랙박스 구성 요소로 재사용할 수 있는가?

주요 결과

• 제안된 기법의 근사 오차는 $ \mathcal{O}(S^{-1/(2p)}) $ 의 속도로 감소하며, 여기서 $ S $ 는 각 측도당 샘플 수이다. 이는 많은 경우, 특히 2D 이미지에서 전체 문제 크기와 무관하다.
• 2D 히스토GRAM의 경우 오차 경계는 픽셀 수에 따라 증가하지 않아, 큰 이미지에서도 빠른 계산이 가능하다.
• 수치 실험 결과, 이 방법은 정확한 해법기 대비 수개의 지수만큼 더 빠른 계산 시간에 높은 정확도를 달성한다.
• 운반 비용 부등식과 리프시츠 연속성에 기반한 농도 경계를 통해 강력한 이론적 보장을 유지한다.
• 기대 제곱 오차는 $ 18\mathcal{E}_{q}^{2/p} S^{-1/p} $ 이하로 유계이며, 여기서 $ \mathcal{E}_{q} $ 는 기저 거리 측도와 관련된 문제에 따라 정해지는 상수이다.
• 이 기법은 강건하고 일반적이다: 어떤 정확한 최적 운반 거리 해법기와도 작동하며, 샘플 수 조절을 통해 속도와 정확도 사이의 트레이드오���을 가능하게 한다.