[論文レビュー] Spectral convergence of diffusion maps: improved error bounds and an alternative normalisation

Caroline L. Wormell, Sebastian Reich|arXiv (Cornell University)|Jun 3, 2020

Advanced Neuroimaging Techniques and Applications参考文献 35被引用数 12

ひとこと要約

この論文は、空間局所化されたハーディー空間埋め込みとスペクトル安定性解析を導入することで、超トーラス上の拡散マップの理論的誤差境界を改善し、固有値および固有関数の点ごとの収束率が一致することを達成した。さらに、Sinkhornに基づく正規化を提案し、平坦領域における収束性が優れている対称作用素近似を実現した。

ABSTRACT

Diffusion maps is a manifold learning algorithm widely used for dimensionality reduction. Using a sample from a distribution, it approximates the eigenvalues and eigenfunctions of associated Laplace-Beltrami operators. Theoretical bounds on the approximation error are however generally much weaker than the rates that are seen in practice. This paper uses new approaches to improve the error bounds in the model case where the distribution is supported on a hypertorus. For the data sampling (variance) component of the error we make spatially localised compact embedding estimates on certain Hardy spaces; we study the deterministic (bias) component as a perturbation of the Laplace-Beltrami operator's associated PDE, and apply relevant spectral stability results. Using these approaches, we match long-standing pointwise error bounds for both the spectral data and the norm convergence of the operator discretisation. We also introduce an alternative normalisation for diffusion maps based on Sinkhorn weights. This normalisation approximates a Langevin diffusion on the sample and yields a symmetric operator approximation. We prove that it has better convergence compared with the standard normalisation on flat domains, and present a highly efficient algorithm to compute the Sinkhorn weights.

研究の動機と目的

• 拡散マップにおける長年の実験的性能と理論的誤差境界のギャップを解消すること。
• 分散とバイアス成分を別々に分析することで、固有値および固有関数の収束率をより厳密に導出すること。
• 平坦領域における収束性を向上させるために、Sinkhorn重みに基づく代替正規化を導入すること。
• 新しい正規化の理論的裏付けを示し、導かれる作用素のスペクトル収束性と対称性を証明すること。
• 拡散マップの文脈において、Sinkhorn重みを効率的に計算するアルゴリズムを開発すること。

提案手法

• 空間局所化を活用したハーディー空間上のコンact埋め込み推定を用いて、誤差の分散成分を制御する。
• 決定的バイアスをラプラシアン＝ベルトラミ作用素の摂動としてモデル化し、偏微分方程式理論からのスペクトル安定性結果を適用する。
• 核行列をバランスさせるSinkhornに基づく正規化を導入し、対称作用素近似を生成する。
• 解のリゾルベントおよび遷移密度の境界を分析することで、平坦領域において標準正規化よりも収束が速いことを証明する。
• Schauder推定および基本解におけるガウス型下界を用いて、作用素ノルムと収束率を制御する。
• 実用的実装を保証するための効率的な固定点アルゴリズムを考案し、Sinkhorn重みを計算する。

実験結果

リサーチクエスチョン

• RQ1 超トーラス上での拡散マップのスペクトル収束性について、より厳密な理論的誤差境界を導出可能か？
• RQ2 拡散マップの標準正規化は、固有値および固有関数の最適収束率を達成するか？
• RQ3 Sinkhornバランスに基づく新しい正規化は、標準的手法と比較してスペクトル収束性を向上させられるか？
• RQ4 平坦領域におけるSinkhorn正規化済み拡散マップ作用素の収束挙動はいかなるものか？
• RQ5 拡散マップの文脈において、Sinkhorn重みを効率的に計算するアルゴリズムを構築可能か？

主な発見

• 本研究では、固有値および固有関数の両方について、$ \tilde{\rho}(\rho) $ 時間の一致する点ごとの誤差境界を達成し、実験的観察とのギャップを埋めた。
• 分散誤差成分は、ハーディー空間における局所化されたコンパクト埋め込みを用いて制御され、$ M $ 依存性が向上した。
• バイアス誤差は $ \tilde{\rho}(\rho) $ として減少することが示され、一次近似による期待される $ \tilde{\rho}(\rho) $ 速度と一致した。
• 提案されたSinkhorn正規化は、平坦領域において標準正規化よりも収束が速い対称作用素近似を生成した。
• リゾルベント $ (I + \tilde{\rho}(\rho))^{-1} $ の作用素ノルムは、$ \tilde{\rho}(\rho) $ に依存しない定数 $ C_{52} $ で一様に有界である。
• 実用的実装を可能にする効率的な固定点アルゴリズムが開発され、新しい正規化の実装が可能となった。