[論文レビュー] Massively scalable Sinkhorn distances via the Nyström method

Jason M. Altschuler, Francis Bach+2 more|arXiv (Cornell University)|Dec 12, 2018

Probabilistic and Robust Engineering Design参考文献 53被引用数 17

ひとこと要約

この論文は、核行列の近似にニストローム法を用い、Sinkhornスケーリングを組み合わせた、大規模なスケーリングが可能なアルゴリズムを提案する。低ランク近似と安定性解析を活用することで、時間的・記憶的複雑度を準2次未塔に抑え、従来の手法よりも数百倍大きなデータセットでも高い精度を維持しながら計算が可能になる。

ABSTRACT

The Sinkhorn "distance", a variant of the Wasserstein distance with entropic regularization, is an increasingly popular tool in machine learning and statistical inference. However, the time and memory requirements of standard algorithms for computing this distance grow quadratically with the size of the data, making them prohibitively expensive on massive data sets. In this work, we show that this challenge is surprisingly easy to circumvent: combining two simple techniques---the Nyström method and Sinkhorn scaling---provably yields an accurate approximation of the Sinkhorn distance with significantly lower time and memory requirements than other approaches. We prove our results via new, explicit analyses of the Nyström method and of the stability properties of Sinkhorn scaling. We validate our claims experimentally by showing that our approach easily computes Sinkhorn distances on data sets hundreds of times larger than can be handled by other techniques.

研究の動機と目的

• 大規模な機械学習応用における標準的なSinkhorn距離計算の2次時間的・記憶的複雑度を解決すること。
• 標準的手法が非現実的となるような大規模データセット上でのSinkhorn距離の効率的計算を可能にすること。
• ニストローム法とSinkhornスケーリングを用いた近似精度に関する理論的保証を提供すること。
• 従来の手法と比較して数個のオーダーも大きいデータセットにおける実験的スケーラビリティを示すこと。

提案手法

• 二乗ユークリッド距離から導かれる核行列に対して、ニストローム法を適用して低ランク近似を構築する。
• ダブルイング・トリックを用いた適応的サンプリングにより、ニストローム近似の精度を向上させる。
• 近似された核行列を、正則化された最適輸送距離を計算するためのSinkhornスケーリングアルゴリズムの入力として使用する。
• 核行列近似下でのSinkhornスケーリングの安定性に関する境界を理論的に確立し、誤差制御を保証する。
• 核行列近似誤差の境界とSinkhorn射影の安定性を組み合わせることで、全体の精度保証を導出する。
• 最終的な輸送計画が周辺制約を満たすように、丸め処理を適用する。

実験結果

リサーチクエスチョン

• RQ1 ニストローム法をSinkhornスケーリングと効果的に組み合わせることで、スケーラブルな最適輸送計算が達成可能か？
• RQ2 得られるSinkhorn距離近似の精度に対して、どのような理論的保証が提供可能か？
• RQ3 実際のデータセットにおいて、従来の手法と比較して、この手法はどのようにスケーリングするか？
• RQ4 核行列近似誤差とSinkhornスケーリングの安定性が、最終的な距離推定に与える影響は何か？

主な発見

• 提案手法は、標準的なO(n^2)複雑度とは対照的に、O(n^{1.5})またはそれ未満の複雑度を達成し、準2次の時間的・記憶的複雑度を実現する。
• 標準的手法がn ≈ 10^4程度の制限を受けるのに対し、本手法はn > 10^6のデータセットに対してもSinkhorn距離の計算が可能になる。
• 理論的解析により、ニストローム近似とSinkhornスケーリングの組み合わせが有界な誤差をもたらすことが証明され、有効次元とサンプリングサイズに明示的な依存関係があることが示された。
• 実験的結果から、相対的に小さなニストロームサンプルサイズでも高い精度を維持することが示され、ロバスト性が確認された。
• 核行列近似に対して安定であり、Bregman発散と輸送ポリトープのハウスドルフ距離解析を用いて誤差境界が導出された。
• 特にグリッドや構造的でない設定では、グリッドベースの畳み込みやテイラー展開といった先行のスケーラブル手法を上回る性能を示した。