[論文レビュー] Asymptotic behavior of $\ell_p$-based Laplacian regularization in semi-supervised learning

A. El Alaoui, Xiang Cheng+3 more|arXiv (Cornell University)|Mar 2, 2016

Numerical methods in inverse problems参考文献 23被引用数 20

ひとこと要約

本稿は、幾何的ランダムグラフ上の半教師あり学習におけるℓ_pベースのラプラシアン正則化の漸近的挙動を分析し、p = d+1で段階的転移が発生することを示している。p ≤ dでは解が退化し鋭いピークを示すが、p ≥ d+1では滑らかで良好な挙動を示す。p = d+1は滑らかさと未ラベルデータ分布Pへの感受性の最適なバランスを実現し、p=2やp=∞を上回る統計的性能を示す。

ABSTRACT

Given a weighted graph with $N$ vertices, consider a real-valued regression problem in a semi-supervised setting, where one observes $n$ labeled vertices, and the task is to label the remaining ones. We present a theoretical study of $\ell_p$-based Laplacian regularization under a $d$-dimensional geometric random graph model. We provide a variational characterization of the performance of this regularized learner as $N$ grows to infinity while $n$ stays constant, the associated optimality conditions lead to a partial differential equation that must be satisfied by the associated function estimate $\hat{f}$. From this formulation we derive several predictions on the limiting behavior the $d$-dimensional function $\hat{f}$, including (a) a phase transition in its smoothness at the threshold $p = d + 1$, and (b) a tradeoff between smoothness and sensitivity to the underlying unlabeled data distribution $P$. Thus, over the range $p \leq d$, the function estimate $\hat{f}$ is degenerate and "spiky," whereas for $p\geq d+1$, the function estimate $\hat{f}$ is smooth. We show that the effect of the underlying density vanishes monotonically with $p$, such that in the limit $p = \infty$, corresponding to the so-called Absolutely Minimal Lipschitz Extension, the estimate $\hat{f}$ is independent of the distribution $P$. Under the assumption of semi-supervised smoothness, ignoring $P$ can lead to poor statistical performance, in particular, we construct a specific example for $d=1$ to demonstrate that $p=2$ has lower risk than $p=\infty$ due to the former penalty adapting to $P$ and the latter ignoring it. We also provide simulations that verify the accuracy of our predictions for finite sample sizes. Together, these properties show that $p = d+1$ is an optimal choice, yielding a function estimate $\hat{f}$ that is both smooth and non-degenerate, while remaining maximally sensitive to $P$.

研究の動機と目的

• 未ラベル点の数Nが無限大に近づく際、半教師あり学習におけるℓ_pベースのラプラシアン正則化の漸近的挙動を理解すること。
• d次元の幾何的ランダムグラフモデル下での関数推定f̂の極限的挙動を特徴づけること。
• 解の滑らかさと、元の未ラベルデータ分布Pへの感受性のトレードオフを同定すること。
• 特に高次元設定において、退化と感受性のバランスを取る最適なpを特定すること。
• クラスタ仮説の下で、p=2やp=∞を含む異なるp値の統計的性能を評価すること。

提案手法

• ラベル付き頂点における等式制約を伴う変分最適化として、半教師あり学習問題を定式化する。
• d次元の幾何的ランダムグラフモデルを用いて、N → ∞の極限における関数推定f̂のPDEに基づく特徴づけを導出する。
• ℓ_pベースのラプラシアン正則化の最適性条件を分析し、滑らかさおよび退化の性質を特定する。
• 漸近的解析を用いて、p ≤ dではf̂が退化し鋭いピークを示すのに対し、p ≥ d+1ではf̂が滑らかであることを示す。
• pの増加に伴い、データ分布Pへの影響が単調に減少し、p=∞で完全に消滅することを示す。
• d=1の反例を構築し、p=2がp=∞よりもPへの適応性に優れるため、p=∞がリーマンスの最小化に最適であるにもかかわらず、p=2が優れることがあることを示す。

実験結果

リサーチクエスチョン

• RQ1 固定されたnの下で、N → ∞の際、ℓ_pベースのラプラシアン正則化関数推定f̂の滑らかさはどのように漸近的に振る舞うか？
• RQ2 解が退化から滑らかへと転移するpの臨界閾値は何か？
• RQ3 f̂の元の未ラベルデータ分布Pへの感受性は、pにどのように依存するか？
• RQ4 p=∞が最小リーマンス拡張であるにもかかわらず、なぜp=2が特定の状況でp=∞を上回るのか？
• RQ5 滑らかさ、非退化性、Pへの感受性のバランスを取る点で、p=d+1は最適か？

主な発見

• p = d+1で解の滑らかさに関する段階的転移が発生し、p ≤ dでは退化し鋭いピークを示すが、p ≥ d+1では滑らかになる。
• p ≤ dでは、関数推定f̂が退化し、ラベル付き点の近傍で鋭く局所的な変動を示す。
• p ≥ d+1では、f̂は滑らかで良好に振る舞い、低p領域で見られる鋭いアーチファクトを回避する。
• 未ラベルデータ分布Pへの影響は、pの増加に伴い単調に減少し、p=∞で完全に消滅する。
• p=∞では、解は絶対的最小リーマンス拡張に対応し、Pに依存しないため、Pが情報を持っている場合に統計的性能が著しく低下する可能性がある。
• d=1の例では、p=2はPに適応できるためp=∞よりリスクが低くなる。一方p=∞はPを無視するため、p=d+1が滑らかさと感受性のバランスを最適化するということが示された。