[論文レビュー] Rates of Convergence for Laplacian Semi-Supervised Learning with Low Labeling Rates

Jeff Calder, Dejan Slepčev+1 more|arXiv (Cornell University)|Jun 4, 2020

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿は、グラフベースの正則化を用いて、低ラベル率におけるラプラシアン半教師付き学習の収束速度を分析する。非退化（ラベル付き点に鋭いスパイクが現れる）は、ラベル率β ≪ ε²のとき発生するが、β ≫ ε²のときには連続ラプラシアン方程式と一貫性を示し、誤差境界がO(εβ⁻¹ᐟ²)（対数因子を除く）となる。証明にはランダムウォークおよびΓ収束の手法が用いられる。

ABSTRACT

We study graph-based Laplacian semi-supervised learning at low labeling rates. Laplacian learning uses harmonic extension on a graph to propagate labels. At very low label rates, Laplacian learning becomes degenerate and the solution is roughly constant with spikes at each labeled data point. Previous work has shown that this degeneracy occurs when the number of labeled data points is finite while the number of unlabeled data points tends to infinity. In this work we allow the number of labeled data points to grow to infinity with the number of labels. Our results show that for a random geometric graph with length scale $\varepsilon>0$ and labeling rate $β>0$, if $β\ll\varepsilon^2$ then the solution becomes degenerate and spikes form, and if $β\gg \varepsilon^2$ then Laplacian learning is well-posed and consistent with a continuum Laplace equation. Furthermore, in the well-posed setting we prove quantitative error estimates of $O(\varepsilonβ^{-1/2})$ for the difference between the solutions of the discrete problem and continuum PDE, up to logarithmic factors. We also study $p$-Laplacian regularization and show the same degeneracy result when $β\ll \varepsilon^p$. The proofs of our well-posedness results use the random walk interpretation of Laplacian learning and PDE arguments, while the proofs of the ill-posedness results use $Γ$-convergence tools from the calculus of variations. We also present numerical results on synthetic and real data to illustrate our results.

研究の動機と目的

• ラベル付き点の数が全データサイズに従って増加する際のラプラシアン半教師付き学習の漸近的挙動を理解すること。
• 低ラベル率下でのグラフベース学習における、非退化と適切に定式化された領域の間の臨界閾値を特定すること。
• 離散的グラフ解が連続PDE解に収束する際の定量的誤差推定を確立すること。
• p-ラプラシアン正則化への分析の拡張を行い、類似の非退化条件を導出すること。
• 理論的知見を合成データおよび実データ上の数値実験で検証すること。

提案手法

• データ構造をモデル化するために、エッジ重みが核ηε(|xi−xj|)で定義されたランダム幾何グラフを用いる。
• グラフラプラシアン方程式を介してラプラシアン学習を分析し、調和拡張およびランダムウォーク期待値との同等性を示す。
• ランダムウォーク解釈を用いて、ラベル伝搬および収束に関する確率的直感を導出する。
• 変分法におけるΓ収束技術を用いて、極限における適切に定式化された性質および一貫性を証明する。
• PDEの議論および測度論的収束ツール（Lp収束および輸送写像を含む）を用いて誤差境界を導出する。
• 非局所的ディリクレエネルギーの解析を通じてp-ラプラシアン正則化への結果の拡張を行い、そのΓ極限を考察する。

実験結果

リサーチクエスチョン

• RQ1 ラプラシアン半教師付き学習が低ラベル率で非退化となる条件は何か？
• RQ2 非退化と一貫性の挙動を分けるために、ラベル率βとグラフ長尺度εとの間の臨界スケーリングは何か？
• RQ3 適切に定式化された領域において、離散的グラフ解が連続PDE解に収束する速度は何か？
• RQ4 p-ラプラシアン正則化への分析はどのように拡張され、対応する非退化閾値は何か？
• RQ5 理論的収束結果は、合成データおよび実データ上の数値実験によって検証可能か？

主な発見

• β ≪ ε²のとき非退化が発生し、解はほぼ定数であり、ラベル付き点に鋭いスパイクが現れる。
• β ≫ ε²のとき、連続ラプラシアン方程式と一貫性を示し、適切に定式化された状態が保たれる。
• 離散解と連続PDE解との間の誤差は、O(εβ⁻¹ᐟ²)（対数因子を除く）で有界である。
• p-ラプラシアン正則化では、β ≪ εᵖのとき非退化が発生し、2次の場合の一般化となる。
• 理論的収束は、合成および実データセット上の数値実験により支持され、予測されたスケーリング行動が確認された。
• Γ収束およびランダムウォーク解釈は、漸近的挙動および誤差推定の厳密な根拠を提供する。