[論文レビュー] Algorithms for $\ell_p$-based semi-supervised learning on graphs

Mauricio Flores Rios, Jeff Calder+1 more|arXiv (Cornell University)|Jan 15, 2019

Statistical Methods and Inference参考文献 55被引用数 10

ひとこと要約

本稿は、$p > 2$ の場合のグラフ $p$-ラプラシアンを用いて、ラベルが少ない状況での退化を回避する、$μat$-based 半教師付き学習のための効率的アルゴリズムを提案する。$k$-近傍近傍グラフにおける離散的から連続的への収束を確立し、リプシッツ学習（$p = \infty$）が、ランダムな幾何的グラフとは異なり、データ分布の情報を保持することを示し、スケーラブルで分布に配慮した半教師付き学習のための堅牢なフレームワークを提供する。

ABSTRACT

We develop fast algorithms for solving the variational and game-theoretic $p$-Laplace equations on weighted graphs for $p>2$. The graph $p$-Laplacian for $p>2$ has been proposed recently as a replacement for the standard ($p=2$) graph Laplacian in semi-supervised learning problems with very few labels, where the minimizer of the graph Laplacian becomes degenerate. We present several efficient and scalable algorithms for both the variational and game-theoretic formulations, and present numerical results on synthetic data and real data that illustrate the effectiveness of the $p$-Laplacian formulation for semi-supervised learning with few labels. We also prove new discrete to continuum convergence results for $p$-Laplace problems on $k$-nearest neighbor ($k$-NN) graphs, which are more commonly used in practice than random geometric graphs. Our analysis shows that, on $k$-NN graphs, the $p$-Laplacian retains information about the data distribution as $p o \infty$ and Lipschitz learning ($p=\infty$) is sensitive to the data distribution. This situation can be contrasted with random geometric graphs, where the $p$-Laplacian \emph{forgets} the data distribution as $p o \infty$. Finally, we give a general framework for proving discrete to continuum convergence results in graph-based learning that only requires pointwise consistency and a type of monotonicity.

研究の動機と目的

• ラベルが僅かにしかない半教師付き学習において、標準的な $p=2$ グラフラプラシアンの退化を解消すること。
• $p > 2$ の $p$-ラプラシアンの変分的およびゲーム理論的定式化のための高速でスケーラブルなアルゴリズムを開発すること。
• $k$-近傍近傍（k-NN）グラフにおける $p$-ラプラシアン問題の離散的から連続的への収束を確立すること。
• データの背後にある分布の情報を、$p \to \infty$ のとき $k$-NN グラフ上で $p$-ラプラシアン学習が保持することを示すこと。これは、ランダムな幾何的グラフとは対照的である。
• 点での一貫性と単調性に依存する一般枠組みを用いて、グラフベースの学習における収束を証明するための一般フレームワークを提供すること。

提案手法

• 重み付きグラフ上で $p > 2$ の $p$-ラプラシアンの変分的定式化を提案し、勾配の離散的 $\ell_p$-ノルムを最小化する。
• 固定点反復および非線形 Gauss-Seidel 法を用いて、スケーラビリティを確保する効率的な数値解法を開発する。
• $p$-ラプラシアンのゲーム理論的定式化をミニマックス問題として導入し、数値的解法のロバスト性と安定性を向上させる。
• 点での一貫性と単調性に基づく一般枠組みを用いて、$k$-NN グラフ上の離散的 $p$-ラプラシアンの連続的 $p$-ラプラシアンへの収束を分析する。
• $k$-NN グラフ上での $p$-ラプラシアンが、$p \to \infty$ のときにもデータ分布の情報を保持することを証明する。これは、ランダムな幾何的グラフとは対照的である。
• グラフ作用素の点での一貫性と単調性条件のみを要件とする、グラフベースの学習における一般収束フレームワークを確立する。

実験結果

リサーチクエスチョン

• RQ1 重み付きグラフ上で $p > 2$ の $p$-ラプラシアン問題を、スケーラブルで数値的に安定な方法で効率的に解くにはどうすればよいか？
• RQ2 $k$-近傍近傍グラフ上での $p$-ラプラシアンは、$p \to \infty$ のときにもデータ分布の情報を保持するのか？
• RQ3 $k$-NN グラフ上での $p$-ラプラシアンの振る舞いは、$p \to \infty$ のときランダムな幾何的グラフ上とどのように異なるのか？
• RQ4 最小限の仮定で、グラフベースの学習における離散的から連続的への収束を一般化するフレームワークを構築できるか？
• RQ5 $p$-ラプラシアンに基づく半教師付き学習の実験的性能は、非常に少ないラベル点を有する実データおよび合成データ上でどうなるか？

主な発見

• 提案されたグラフ上の $p$-ラプラシアン用アルゴリズムは、効率的かつスケーラブルであり、ラベルが少ない状況での半教師付き学習への実用的応用を可能にする。
• $k$-近傍近傍グラフ上では、$p \to \infty$ のとき $p$-ラプラシアンがデータ分布の情報を保持するため、リプシッツ学習は背後にあるデータ構造に敏感になる。
• $k$-NN グラフとは対照的に、ランダムな幾何的グラフ上では、$p \to \infty$ のとき $p$-ラプラシアンがデータ分布の情報を失うため、挙動に顕著な違いが生じる。
• 合成データおよび実データにおける数値結果から、$p$-ラプラシアン定式化が、ラベルが少ない状況で標準的な $p=2$ グラフラプラシアンを上回ることを示している。
• 本稿で開発された一般収束フレームワークは、点での一貫性と単調性の条件のみを要するため、広範なグラフベースの学習問題に適用可能である。
• $k$-NN グラフ上での $p$-ラプラシアン問題の離散的から連続的への収束結果が確立され、実用的応用における理論的根拠が提供されている。