[논문 리뷰] Linear Time Sinkhorn Divergences using Positive Features

Meyer Scetbon, Marco Cuturi|arXiv (Cornell University)|2020. 06. 01.

Sparse and Compressive Sensing Techniques인용 수 8

한 줄 요약

이 논문은 양의 특징 맵을 사용하여 Sinkhorn 산란을 선형 시간에 근사하는 방법을 제안한다. 지오메트릭 비용을 양의 부류 ℝʳ₊ 내의 내적 형태로 모델링함으로써 계산량을 O(n²)에서 O(nr)로 감소시킨다. 이 방법은 기울기 유지 성질을 유지하면서도, OT-GAN 학습과 같은 응용 분야에서 미분 가능하고 확장 가능한 최적 운반 이론을 가능하게 한다. 빠른 속도 향상이 달성된다.

ABSTRACT

Although Sinkhorn divergences are now routinely used in data sciences to compare probability distributions, the computational effort required to compute them remains expensive, growing in general quadratically in the size $n$ of the support of these distributions. Indeed, solving optimal transport (OT) with an entropic regularization requires computing a $n imes n$ kernel matrix (the neg-exponential of a $n imes n$ pairwise ground cost matrix) that is repeatedly applied to a vector. We propose to use instead ground costs of the form $c(x,y)=-\log\dotp{\varphi(x)}{\varphi(y)}$ where $\varphi$ is a map from the ground space onto the positive orthant $\RR^r_+$, with $r\ll n$. This choice yields, equivalently, a kernel $k(x,y)=\dotp{\varphi(x)}{\varphi(y)}$, and ensures that the cost of Sinkhorn iterations scales as $O(nr)$. We show that usual cost functions can be approximated using this form. Additionaly, we take advantage of the fact that our approach yields approximation that remain fully differentiable with respect to input distributions, as opposed to previously proposed adaptive low-rank approximations of the kernel matrix, to train a faster variant of OT-GAN \cite{salimans2018improving}.

연구 동기 및 목표

• 지지 크기 n에 대해 제곱적으로 증가하는 Sinkhorn 산란의 높은 계산 비용을 해결하기 위해.
• 엔트로피 최적 운반 이론의 커널 행렬에 대해, 양의 특징 맵을 사용한 저질서, 미분 가능한 근사 방법을 개발하기 위해.
• 비용이 많이 드는 커널 계산을 효율적인 특징 기반 연산으로 대체함으로써, OT-GAN의 더 빠른 학습을 가능하게 하기 위해.
• 이전의 저질서 방법들과 달리, 입력 분포에 대한 근사의 미분 가능성을 유지하기 위해.

제안 방법

• 이 방법은 지오메트릭 비용을 c(x,y) = -log⟨φ(x), φ(y)⟩로 모델링하며, 여기서 φ는 데이터 포인트를 r ≪ n인 ℝʳ₊로 매핑한다.
• 이 형식은 k(x,y) = ⟨φ(x), φ(y)⟩ 형태의 양의 정부호 커널을 유도하며, 이는 O(nr) 시간 내에 효율적인 행렬-벡터 곱셈을 가능하게 한다.
• 특징 맵의 저질서 구조를 활용함으로써, 각 Sinkhorn 반복의 계산 비용이 n에 대해 선형적으로 증가하게 되며, 이는 이전의 제곱 비용과 대비된다.
• 이 방법은 입력 확률 측도에 대한 Sinkhorn 산란의 완전한 미분 가능성을 유지하며, 종단 간 학습을 가능하게 한다.
• 이 방법은 기울기 유지 성질을 활용하여 더 빠른 OT-GAN의 학습에 적용된다.

실험 결과

연구 질문

• RQ1 입력 크기 n에 대해 선형 시간에 근사 가능한 Sinkhorn 산란을 유지하면서도, 미분 가능성을 보존할 수 있는가?
• RQ2 양의 특징 맵을 통해 저질서 커널 구조를 만들 수 있으며, 이로 인해 OT 계산을 O(n²)에서 O(nr)로 감소시킬 수 있는가?
• RQ3 제안된 방법은 GAN 학습과 같은 후행 작업에 충분한 정확도를 유지하는가?
• RQ4 기존의 저질서 커널 근사 방법과 비교해 볼 때, 이 근사의 미분 가능성은 어떻게 되는가?

주요 결과

• 제안된 방법은 Sinkhorn 반복의 계산 비용을 O(n²)에서 O(nr)로 감소시켜 선형 시간 계산을 가능하게 한다.
• 양의 특징 맵의 사용은 커널이 여전히 양의 정부호이면서 효율적인 행렬-벡터 연산에 적합하다는 것을 보장한다.
• 이전의 저질서 근사 방법들과 달리, 입력 분포에 대한 근사가 완전히 미분 가능하다.
• 비용이 많이 드는 커널 계산을 효율적인 특징 기반 연산으로 대체함으로써, OT-GAN의 더 빠른 학습을 가능하게 한다.