[論文レビュー] Linear Optimal Transport Embedding: Provable fast Wasserstein distance computation and classification for nonlinear problems.

Caroline Moosmüller, Alexander Cloninger|arXiv (Cornell University)|Aug 20, 2020

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、基準分布への最適輸送を介して確率分布をL²空間に埋め込むLinear Optimal Transport (LOT)埋め込みを導入する。これにより、Wasserstein-2距離の高速計算と分布族の線形分離可能性が可能となる。主な貢献は、LOTがWasserstein-2距離をほぼ等長的に保つことを証明し、N²個のペアワイズ距離計算をN個の最適輸送マップに削減することにある。

ABSTRACT

Discriminating between distributions is an important problem in a number of scientific fields. This motivated the introduction of Linear Optimal Transportation (LOT), which embeds the space of distributions into an $L^2$-space. The transform is defined by computing the optimal transport of each distribution to a fixed reference distribution, and has a number of benefits when it comes to speed of computation and to determining classification boundaries. In this paper, we characterize a number of settings in which LOT embeds families of distributions into a space in which they are linearly separable. This is true in arbitrary dimension, and for families of distributions generated through perturbations of shifts and scalings of a fixed distribution. We also prove conditions under which the $L^2$ distance of the LOT embedding between two distributions in arbitrary dimension is nearly isometric to Wasserstein-2 distance between those distributions. This is of significant computational benefit, as one must only compute $N$ optimal transport maps to define the $N^2$ pairwise distances between $N$ distributions. We demonstrate the benefits of LOT on a number of distribution classification problems.

研究の動機と目的

• 最適輸送を用いた確率分布の比較に向け、計算効率の高い手法の開発。
• 分類の向上を図るため、L²埋め込み空間における分布族の線形分離可能性の実現。
• LOT埋め込みのL²距離がWasserstein-2距離をどの程度近似するかの理論的条件の確立。
• N個の分布に対して、O(N²)からO(N)の最適輸送マップにまで削減可能な、ペアワイズ分布比較の計算コスト低減。

提案手法

• 各分布を固定された基準分布への最適輸送マップを計算することで、L²空間に埋め込む。
• 最適輸送マップの構造を活用し、Wasserstein空間の幾何的性質を保つ線形埋め込みを定義する。
• 基本分布のシフトおよびスケーリングの摂動を用いて分布族を生成し、それらを埋め込み空間で線形分離可能にする。
• 理論的分析により、特定の条件下でLOT埋め込み間のL²距離がWasserstein-2距離を近似することを証明する。
• N²個のペアワイズ距離計算を、N個の最適輸送マップのみで実現可能であり、計算コストの大幅な削減を実現する。
• 複数の分布分類タスクにおける実験的検証により、フレームワークの有効性を示す。

実験結果

リサーチクエスチョン

• RQ1 LOT埋め込みが、小さな歪みの範囲でWasserstein-2距離をどの程度等長的に保つのか、どのような条件下か？
• RQ2 シフトおよびスケーリングの摂動によって生成される分布族は、LOT埋め込み空間で線形分離可能になるか？
• RQ3 LOT埋め込み空間におけるL²距離と、実際の分布間のWasserstein-2距離の関係は何か？
• RQ4 N個の分布に対して、必要な最適輸送マップの数をO(N²)からO(N)に削減可能か、かつ正確な距離推定を維持できるか？
• RQ5 LOTは非線形分布問題における分類性能をどの程度向上させるか？

主な発見

• 分布族にやや緩い条件下でも、LOT埋め込み間のL²距離はWasserstein-2距離をほぼ等長的に近似する。
• シフトおよびスケーリングの摂動によって生成される分布族は、任意の次元においてもLOT埋め込み空間で線形分離可能になる。
• N²個のペアワイズ距離計算の計算コストを、最適輸送マップをわずかN個にまで削減でき、スケーラブルな分布比較が可能になる。
• LOTにより、非線形分布族が線形分離可能な空間に変換され、効果的な分類が実現できる。
• 実験的結果により、分布分類タスクで性能が向上することが実証され、手法の実用的有用性が裏付けられた。