[論文レビュー] Overcoming the curse of dimensionality with Laplacian regularization in semi-supervised learning

Vivien Cabannes, Loucas Pillaud‐Vivien+2 more|arXiv (Cornell University)|Sep 9, 2020

Machine Learning and Data Classification参考文献 52被引用数 4

ひとこと要約

この論文は、再帰的核ヒルバート空間（RKHS）理論と低ランク近似を活用することで次元の呪いを克服する半教師あり学習におけるラプラシアン正則化を用いたスペクトルフィルタリング手法を提案する。低密度分離条件下で高速収束率を達成し、$n^{ u}\log n \times n^{ u}\log n$ 行列近似により計算コストを $\mathcal{O}(n^3d^3)$ から $\mathcal{O}(n^{1+2\gamma}d\log^2 n)$ に削減する。$\gamma \in (0,1]$ は関数の滑らかさに依存する。

ABSTRACT

As annotations of data can be scarce in large-scale practical problems, leveraging unlabelled examples is one of the most important aspects of machine learning. This is the aim of semi-supervised learning. To benefit from the access to unlabelled data, it is natural to diffuse smoothly knowledge of labelled data to unlabelled one. This induces to the use of Laplacian regularization. Yet, current implementations of Laplacian regularization suffer from several drawbacks, notably the well-known curse of dimensionality. In this paper, we provide a statistical analysis to overcome those issues, and unveil a large body of spectral filtering methods that exhibit desirable behaviors. They are implemented through (reproducing) kernel methods, for which we provide realistic computational guidelines in order to make our method usable with large amounts of data.

研究の動機と目的

• 半教師あり学習におけるラプラシアン正則化の次元の呪いを克服すること。
• 次元の増大に起因する性能劣化を避ける統計的に整合的な枠組みを確立すること。
• 大規模データ向けにカーネル法と低ランク近似を用いたスケーラブルな計算指針を提供すること。
• 低密度分離仮説下での高速収束率を確立すること。
• 計算効率を高めることで、高次元設定下でのラプラシアン正則化の実用的導入を可能にすること。

提案手法

• 関数空間解析と再帰的ヒルバート空間（RKHS）に基づくスペクトルフィルタリングフレームワークを提案する。
• カーネル法を用いて、一貫性があり次元の呪いを回避する推定器を実装する。
• ランダムサブサンプリングまたはレバレッジスコアを用いた低ランク近似により、カーネル行列のサイズを $n(d+1) \times n(d+1)$ から $n^\gamma \log n \times n^\gamma \log n$ に削減する。
• 平滑性と安定性を制御するための正則化スキームを導入し、パrameter $\lambda$ と拡散作用素 $\mathcal{L}$ を用いる。
• ランダム行列理論とサブガウス型尾部推定を用いて、経験的射影作用素 $P$ の集中限界を導出する。
• 特に $ab = \log p$ と設定することで、パrameterチューニングにより近似誤差を最適化する。

実験結果

リサーチクエスチョン

• RQ1 半教師あり学習における高次元入力空間に対して、ラプラシアン正則化をどのようにして頑健に保てるか。
• RQ2 ラプラシアンベースの推定器が次元の呪いを回避するための理論的条件は何か。
• RQ3 カーネル法と低ランク近似をどのように組み合わせれば、統計的一致性を維持しつつ計算コストを削減できるか。
• RQ4 低密度分離仮説下でのラプラシアン正則化推定器の最適収束率は何か。
• RQ5 レバレッジスコアサンプリングは、低ランクスキームにおける近似品質の向上と必要なサンプルサイズの削減に寄与するか。

主な発見

• 提案された推定器は、低密度分離仮説下で高速収束率を達成し、次元の呪いを回避する。
• 統計的誤差の境界は $\mathcal{O}\left(\frac{\log p}{p}\right)$ および $\mathcal{O}\left(\frac{\log^a p}{p^a}\right)$ とスケーリングされ、$ab = \log p$ の最適チューニングで最良の作用素ノルム境界が得られる。
• 計算コストは $\mathcal{O}(n^3d^3)$ から $\mathcal{O}(n^{1+2\gamma}d\log^2 n)$ に削減され、$\gamma \in (0,1]$ は元の関数の滑らかさに依存する。
• 関数の滑らかさとRKHSの構造を活用することで、高次元設定下でも一貫性と高速収束が達成される。
• レバレッジスコアサンプリングにより近似品質が向上し、与えられた容量に対して $p = (\mu\lambda)^\gamma \log n$ を達成可能となり、安定性が向上する。
• 期待 $L^2$ 誤差に関する理論的境界が導出され、$n$、$\lambda$、$\kappa^2$、および $\|g_\rho\|_{L^2}$ と $\|\mathcal{L}g_\rho\|_{L^2}$ を通じた関数の滑らかさに依存することが示された。