[論文レビュー] Manifold Learning with Sparse Regularised Optimal Transport

Stephen X. Zhang, Gilles Mordant+2 more|arXiv (Cornell University)|Jul 19, 2023

Gaussian Processes and Bayesian InferenceComputer Science被引用数 3

ひとこと要約

本稿では、2次正則化を用いてコスト行列を双確率多様体に対称的に射影することで、頑健で適応的な類似度行列を構築するスパース正則化最適輸送手法を提案する。得られるカーネルは連続極限においてラプラシアン型作用素を一貫して近似し、k-NN やエントロピー最適輸送よりも、単細胞RNA-SeqやMNISTデータセットを含むノイズ多きく高次元なデータにおいて優れた性能を示す。

ABSTRACT

Manifold learning is a central task in modern statistics and data science. Many datasets (cells, documents, images, molecules) can be represented as point clouds embedded in a high dimensional ambient space, however the degrees of freedom intrinsic to the data are usually far fewer than the number of ambient dimensions. The task of detecting a latent manifold along which the data are embedded is a prerequisite for a wide family of downstream analyses. Real-world datasets are subject to noisy observations and sampling, so that distilling information about the underlying manifold is a major challenge. We propose a method for manifold learning that utilises a symmetric version of optimal transport with a quadratic regularisation that constructs a sparse and adaptive affinity matrix, that can be interpreted as a generalisation of the bistochastic kernel normalisation. We prove that the resulting kernel is consistent with a Laplace-type operator in the continuous limit, establish robustness to heteroskedastic noise and exhibit these results in numerical experiments. We identify a highly efficient computational scheme for computing this optimal transport for discrete data and demonstrate that it outperforms competing methods in a set of examples.

研究の動機と目的

• 現代のデータサイエンスや生物学に共通する高次元でノイズの多いデータから低次元多様体を学習する課題に対処すること。
• 多様体学習のための類似度行列を構築する際の標準的k-NNやエントロピー最適輸送の限界を克服すること。
• 2次正則化を用いた最適輸送により、対称的でスパースかつ適応的な類似度行列を構築し、双確率カーネル正規化を一般化すること。
• 連続極限において得られるカーネルがラプラシアン型作用素と理論的に整合することを確立すること。
• 単細胞RNA-Seq やMNISTといった実世界のデータセットにおいて、不均一分散ノイズに対して頑健であり、性能が向上することを示すこと。

提案手法

• 本手法は、埋め込み空間における対比較のユークリッド距離から、コスト行列 $ C_{ij} = \frac{1}{2}\|x_i - x_j\|_2^2 $ を構築する。
• 2次正則化を用いた対称的最適輸送射影を適用し、行和と列和が等しくなるように制約を課すことで、スパースかつ適応的な類似度行列を生成する。
• 得られるカーネルは、局所的幾何とグローバル構造の両方をバランスさせる、双確率カーネル正規化の一般化と解釈できる。
• スパarsityと安定性を保証するため、2次ペナルティを導入したSinkhorn-Knopp反復に基づく計算効率の良いアルゴリズムを用いる。
• 類似度行列を用いて離散ラプラシアン作用素 $ \Delta^D $ を定義し、これによりスペクトル埋め込みと下流解析を実行する。
• 理論的分析により、カーネルが連続極限においてラプラシアン型作用素に収束することを示し、幾何的整合性を保証する。

Figure 1 : Spiral with non-uniform noise. (a) Clean points ( $N=1000$ ) sampled from spiral in 3 dimensions. (b) Points embedded in 100 dimensions subjected to non-uniform noise in high dimension. (c) Spectral embedding error (measured in terms of subspace angle) for the spectral embeddings obtained

実験結果

リサーチクエスチョン

• RQ1 最適輸送をどのように変更すれば、高次元でノイズの多いデータにおける多様体学習のためのスパースで対称的かつ適応的な類似度行列を構築できるか？
• RQ2 提案された正則化最適輸送カーネルと、潜在多様体上のラプラシアン–ベルトラミ作用素との理論的関係は何か？
• RQ3 不均一分散ノイズ下での性能は、標準的k-NN やエントロピー最適輸送と比べてどうなるか？
• RQ4 k-NN が実際の応用で標準的であるにもかかわらず、なぜ本手法は単細胞RNA-Seq や画像データにおいてk-NN やエントロピーOTを上回るのか？
• RQ5 本手法の有限標本における挙動は何か？どのような状況で失敗するか、または劣化する可能性があるか？

主な発見

• 提案されたスパース正則化最適輸送（QOT）カーネルは、MNISTおよび単細胞RNA-seqデータにおけるスペクトルクラスタリングタスクで、k-NN やエントロピー最適輸送を一貫して上回る性能を示した。
• MNISTデータセットにおいて、$ \varepsilon $ と主成分の設定を変化させた全範囲で、QOTはk-NN やエントロピーカーネルよりも高い正規化相互情報量を達成した。
• 単細胞RNA-seqデータでは、QOTはスペクトル埋め込みにおいて、発生線の分岐終点が原点細胞から離れていることを正しく特定したが、k-NN やEOTは一部の線形発生を捉えられなかった。
• 理論的分析により、QOTカーネルが連続極限においてラプラシアン型作用素に収束することが確認され、幾何的整合性が保証された。
• 本手法は不均一分散ノイズに対しても頑健であり、k-NN やEOTが性能を低下させる状況でも安定した性能を維持した。
• QOTの計算スキームは非常に効率的かつスケーラブルであり、5,000セルの単細胞RNA-seqデータなど大規模データセットへの実用的応用が可能である。

Figure 2 : Gaussian mixture model. (a-c) $N=750$ points sampled from a mixture of 3 Gaussians (250 points each) in $d=10$ dimensions, coloured by their true labels, with weighted graphs corresponding to the QOT, EOT and $k$ -NN kernels respectively. Inset: the values of the second smallest eigenvect