[論文レビュー] Low-rank Optimal Transport: Approximation, Statistics and Debiasing

Meyer Scetbon, Marco Cuturi|arXiv (Cornell University)|May 24, 2022

Sparse and Compressive Sensing Techniques被引用数 6

ひとこと要約

本稿は、低ランク最適輸送（LOT）の理論的基盤を確立し、次元に依存しないパrametric統計誤差率 $\mathcal{O}(\sqrt{1/n})$ を導出し、弱収束を測度化し、最大平均差分（MMD）とOTの間を補間するデバイアス付きLOTバージョンを導入することで、LOTを発展させる。この手法により線形時間計算が可能となり、大規模な機械学習応用におけるエントロピー正則化のロバストな代替手段を提供する。

ABSTRACT

The matching principles behind optimal transport (OT) play an increasingly important role in machine learning, a trend which can be observed when OT is used to disambiguate datasets in applications (e.g. single-cell genomics) or used to improve more complex methods (e.g. balanced attention in transformers or self-supervised learning). To scale to more challenging problems, there is a growing consensus that OT requires solvers that can operate on millions, not thousands, of points. The low-rank optimal transport (LOT) approach advocated in \cite{scetbon2021lowrank} holds several promises in that regard, and was shown to complement more established entropic regularization approaches, being able to insert itself in more complex pipelines, such as quadratic OT. LOT restricts the search for low-cost couplings to those that have a low-nonnegative rank, yielding linear time algorithms in cases of interest. However, these promises can only be fulfilled if the LOT approach is seen as a legitimate contender to entropic regularization when compared on properties of interest, where the scorecard typically includes theoretical properties (statistical complexity and relation to other methods) or practical aspects (debiasing, hyperparameter tuning, initialization). We target each of these areas in this paper in order to cement the impact of low-rank approaches in computational OT.

研究の動機と目的

• 大規模な機械学習におけるエントロピー正則化のスケーラブルな代替手段として、低ランク最適輸送（LOT）の理論的基盤を確立すること。
• 非負のランクパラメータに関して、LOTの推定誤差の上界を導出し、次元に依存しないパrametricレート $\mathcal{O}(\sqrt{1/n})$ を得ることで、LOTの統計的複雑度を分析すること。
• 非負性を保ち、弱収束を測度化し、MMDとOTの間を補間するデバイアス付きLOTのバージョンを導入すること。
• LOTのバイアスとクラスタリング手法との関連を明確にし、ステップサイズおよび初期化のチューニングのための実用的戦略を提供すること。

提案手法

• 非負のランクパラメータに関して、LOTが真のOTに収束するレートを導出する。
• LOTのためのプラグイン推定量を提案し、次元に依存しないパrametricレート $\mathcal{O}(\sqrt{1/n})$ を有する統計誤差の上界を導出する。
• Sinkhorn差分に類似したデバイアス付きLOT発散を導入し、非負性と弱収束の測度化を保証する。
• LOTのバイアスとクラスタリングに基づく近似の間の関係を確立し、特に輸送結合の低ランク因子分解を通じてその関係を明示する。
• LOTにおける交互最小化アルゴリズムのための、ステップサイズと初期化の適応的戦略を提案し、収束のロバスト性を向上させる。
• 行列因子分解を用いて輸送結合を部分結合の積として表現し、コスト行列が低ランクである場合に線形時間計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非負のランクに関して、低ランク最適輸送（LOT）が真の最適輸送解に収束するレートはどのように変化するか？
• RQ2 低ランク最適輸送のためのプラグイン推定量の統計誤差レートは何か？また、データ次元に依存するか？
• RQ3 非負性や弱収束の測度化といった望ましい性質を保ちつつ、低ランク最適輸送のデバイアス付きバージョンを構築可能か？
• RQ4 低ランク最適輸送のバイアスはクラスタリング手法とどのように関連しており、その関係を形式化可能か？
• RQ5 ステップサイズおよび初期化のための実用的戦略は、低ランクOTソルバーの収束性と安定性をどのように向上させるか？

主な発見

• 低ランク最適輸送のためのプラグイン推定量の統計誤差は $\mathcal{O}(\sqrt{1/n})$ で有界であり、次元に依存しないパrametricレートを達成する。
• デバイアス付きLOT発散は非負であり、弱収束を測度化し、最大平均差分（MMD）と標準的最適輸送の間を補間する。
• 低ランク最適輸送のバイアスは正式にクラスタリングと関連しており、低ランク因子分解が輸送計画の暗黙的クラスタリングを誘発することを示す。
• 一様分布および非等方的ガウス混合分布を含む多様なデータ分布において、適応的ステップサイズスケジューリングは、定常ステップサイズよりも収束のロバスト性に優れる。
• 提案されたデバイアス付きLOTバージョンは、勾配フロー実験において、ターゲット分布を正常に回復する一方で、標準的LOTはバイアス付き低ランク近似を学習する。
• 非負のランクパラメータに関して、LOTが真のOTに収束する理論的レートが確立され、その近似品質が裏付けられる。