[論文レビュー] Analysis of $p$-Laplacian Regularization in Semi-Supervised Learning

Dejan Slepčev, Matthew Thorpe|arXiv (Cornell University)|Jul 19, 2017

Statistical Methods and Inference被引用数 3

ひとこと要約

本稿は半教師付き学習におけるp-Laplacian正則化を分析し、グラフ接続半径ε(n)の最適スケーリングのもとで離散最小化子が一様に連続極限に収束することを示している。p > dの場合に漸近的整合性を確立し、標準的定式化で見られるε(n)の制限的な上界を克服する修正モデルを提案することで、ε(n)の減少が遅くても安定した収束を可能にしている。

ABSTRACT

We investigate a family of regression problems in a semi-supervised setting. The task is to assign real-valued labels to a set of $n$ sample points, provided a small training subset of $N$ labeled points. A goal of semi-supervised learning is to take advantage of the (geometric) structure provided by the large number of unlabeled data when assigning labels. We consider random geometric graphs, with connection radius $\epsilon(n)$, to represent the geometry of the data set. Functionals which model the task reward the regularity of the estimator function and impose or reward the agreement with the training data. Here we consider the discrete $p$-Laplacian regularization. We investigate asymptotic behavior when the number of unlabeled points increases, while the number of training points remains fixed. We uncover a delicate interplay between the regularizing nature of the functionals considered and the nonlocality inherent to the graph constructions. We rigorously obtain almost optimal ranges on the scaling of $\epsilon(n)$ for the asymptotic consistency to hold. We prove that the minimizers of the discrete functionals in random setting converge uniformly to the desired continuum limit. Furthermore we discover that for the standard model used there is a restrictive upper bound on how quickly $\epsilon(n)$ must converge to zero as $n o \infty$. We introduce a new model which is as simple as the original model, but overcomes this restriction.

研究の動機と目的

• n → ∞ における半教師付き学習におけるp-Laplacian正則化回帰の漸近的挙動を厳密に分析すること。
• 連続極限への収束のためのグラフ接続半径ε(n)の最適スケーリングを特定すること。
• 標準的定式化で見られるε(n)の制限的な上界を解消し、特にp ≤ dの場合に収束を制限する要因を特定すること。
• スパイク形成を防ぎ、より広い条件下で収束を可能にする修正正則化モデルを提案・分析すること。
• ε(n)に関する最小仮定のもとで、離散最小化子が連続解に一様収束することを確立すること。

提案手法

• W_ij = η_ε(|xi−xj|) を用いて、E(p)n(f) = 1/ε^p n^2 ∑_{i,j} W_ij |f(xi)−f(xj)|^p という離散p-Laplacian正則化関数を定式化し、滑らかさの罰則とラベル制約の強制を実現する。
• データ幾何をモデル化するため、接続半径ε(n)のランダム幾何的グラフを用いる。底面測度µがコンパクト集合Ω ⊂ ℝ^d 上で正の密度ρを有すると仮定する。
• Gamma収束理論を用いて、n → ∞ かつ ε(n) → 0 の下で、離散関数 E(p)n(f) が連続関数 E(p)∞(f) = σ ∫_Ω |∇f(x)|^p ρ^2(x) dx にΓ収束することを証明する。
• 訓練点の周囲に半径2εの球にラベルを拡張することで、ill-posedな状態（p ≤ d）におけるスパイク形成を防ぐ修正モデルを導入する。
• p = 4 の2次元データを用いた数値実験により、理論的スケーリング則の妥当性を検証し、さまざまなε(n)と制約半径における誤差挙動を比較する。
• 誤差がε(n)が接続閾値ε_conn(n)に対してどのように依存するかを分析し、ill-posedな状態からwell-posedな状態への急遷移を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 p-Laplacian正則化半教師付き学習における漸近的整合性のための接続半径ε(n)の最適スケーリングは何か？
• RQ2 標準的モデルがp ≤ dの場合に収束を妨げる制限的なε(n)の上界をなぜ示すのか？
• RQ3 ラベル制約を拡張することで、標準的モデルの収束制限を克服できる修正正則化モデルは存在するか？
• RQ4 離散最小化子の誤差はε(n)が接続閾値に対してどのように依存するか？また、粗いグラフ解像度における最小誤差の観測はどのように説明できるか？
• RQ5 ラベルをより小さな制約球（例：半径ε/2）に拡張することで、ill-posedな状態におけるスパイク形成は依然として防げるか？

主な発見

• p > d の場合、n → ∞ かつ ε(n) → 0 の下で、離散p-Laplacian関数の最小化子は連続関数の最小化子に一様に収束する。
• 標準的モデルはε(n)に制限的な上界を課しており、収束のためにはε(n) ≍ n^{-0.25} が必要であり、実用的には遅すぎる。
• 提案された改善モデルでは、ラベルを半径2εの球に拡張することで、1 ≫ ε(n) ≫ (log n / n)^{1/d} を満たす限り収束を保証でき、ε(n)の減少が著しく遅くてもよい。
• 数値結果から、ラベルを半径ε/2に拡張してもスパイク形成が防がれ、元のモデルに比べて近似精度が向上することが示された。
• 最小誤差の最適ε(n)は接続閾値付近に位置し、ε(n)が小さすぎると（グラフが非連結）、大きくすぎると（過剰に滑らか）に誤差が増加する。
• 観測された接続半径のスケーリングε_conn(n) ≈ 1.368 n^{-0.452} は理論的n^{-0.5}率に近く、上界スケーリングε_upper(n) ≈ 0.654 n^{-0.270} は理論的n^{-0.25}予測に近い。