[論文レビュー] Linear Time Sinkhorn Divergences using Positive Features

Meyer Scetbon, Marco Cuturi|arXiv (Cornell University)|Jun 1, 2020

Sparse and Compressive Sensing Techniques被引用数 8

ひとこと要約

本稿では、正の特徴マップを用いたSinkhorn散らばんの線形時間近似を提案する。地面コストを正の象限における内積としてモデル化することにより、計算量をO(n²)からO(nr)に削減する。この手法により、OT-GANの学習などに応用可能な微分可能でスケーラブルな最適輸送が可能となり、勾配の正確性を保ちながら顕著な高速化が達成される。

ABSTRACT

Although Sinkhorn divergences are now routinely used in data sciences to compare probability distributions, the computational effort required to compute them remains expensive, growing in general quadratically in the size $n$ of the support of these distributions. Indeed, solving optimal transport (OT) with an entropic regularization requires computing a $n imes n$ kernel matrix (the neg-exponential of a $n imes n$ pairwise ground cost matrix) that is repeatedly applied to a vector. We propose to use instead ground costs of the form $c(x,y)=-\log\dotp{\varphi(x)}{\varphi(y)}$ where $\varphi$ is a map from the ground space onto the positive orthant $\RR^r_+$, with $r\ll n$. This choice yields, equivalently, a kernel $k(x,y)=\dotp{\varphi(x)}{\varphi(y)}$, and ensures that the cost of Sinkhorn iterations scales as $O(nr)$. We show that usual cost functions can be approximated using this form. Additionaly, we take advantage of the fact that our approach yields approximation that remain fully differentiable with respect to input distributions, as opposed to previously proposed adaptive low-rank approximations of the kernel matrix, to train a faster variant of OT-GAN \cite{salimans2018improving}.

研究の動機と目的

• サポートサイズnに対して2次関数的に増加するSinkhorn散らばんの計算コストの高さに対処すること。
• 正の特徴マップを用いて、エントロピー最適輸送におけるカーネル行列の低ランクで微分可能な近似を構築すること。
• 高価なカーネル計算を効率的な特徴ベースの演算に置き換えることで、OT-GANの高速化した学習を可能にすること。
• 従来の低ランク手法とは異なり、入力分布に関して完全に微分可能であることを維持すること。

提案手法

• 本手法は、データポイントを正の象限ℝʳ₊に写像するφを用いて、地面コストをc(x,y) = -log⟨φ(x), φ(y)⟩としてモデル化する。ここでr ≪ nである。
• この定式化により、正定値カーネルk(x,y) = ⟨φ(x), φ(y)⟩が得られ、O(nr)時間で効率的な行列-ベクトル乗算が可能になる。
• 特徴マップの低ランク構造を活用することで、各Sinkhorn反復のスケーリングがnに関して線形に抑えられ、二次関数的ではなくなる。
• 入力確率測度に関してSinkhorn散らばんの完全な微分可能性を維持することで、エンドツーエンドの学習が可能になる。
• 本手法は、微分可能な近似の性質を活かして、より高速なOT-GANの学習に応用される。

実験結果

リサーチクエスチョン

• RQ1 入力分布に関して微分可能であることを保ちながら、線形時間でSinkhorn散らばんを近似できるか？
• RQ2 正の特徴マップは、O(n²)からO(nr)に削減されたOT計算を可能にする低ランクカーネル構造を実現できるか？
• RQ3 提案手法は、GANの学習などの下流タスクにおいて十分な精度を維持できるか？
• RQ4 従来の低ランクカーネル近似と比較して、本手法の近似の微分可能性はどのように異なるか？

主な発見

• 提案手法により、Sinkhorn反復の計算コストがO(n²)からO(nr)に削減され、線形時間での計算が可能になった。
• 正の特徴マップの使用により、カーネルが正定値のまま保たれ、効率的な行列-ベクトル演算に適した形になる。
• 従来の低ランク近似とは異なり、入力分布に関して完全に微分可能である。
• 高価なカーネル計算を効率的な特徴ベースの演算に置き換えることで、OT-GANの高速化した学習が可能になった。