[论文解读] Asymptotic behavior of $\ell_p$-based Laplacian regularization in semi-supervised learning

A. El Alaoui, Xiang Cheng+3 more|arXiv (Cornell University)|Mar 2, 2016

Numerical methods in inverse problems参考文献 23被引用 20

一句话总结

本文分析了在几何随机图上半监督学习中基于 ℓ_p 的拉普拉斯正则化的渐近行为，发现在 p = d+1 处存在相变，此时解从 p ≤ d 时的退化且尖锐的形态转变为 p ≥ d+1 时的平滑且行为良好的形态。研究表明，p = d+1 在平滑性与对未标记数据分布的敏感性之间实现了最优平衡，其统计性能优于 p=2 和 p=∞。

ABSTRACT

Given a weighted graph with $N$ vertices, consider a real-valued regression problem in a semi-supervised setting, where one observes $n$ labeled vertices, and the task is to label the remaining ones. We present a theoretical study of $\ell_p$-based Laplacian regularization under a $d$-dimensional geometric random graph model. We provide a variational characterization of the performance of this regularized learner as $N$ grows to infinity while $n$ stays constant, the associated optimality conditions lead to a partial differential equation that must be satisfied by the associated function estimate $\hat{f}$. From this formulation we derive several predictions on the limiting behavior the $d$-dimensional function $\hat{f}$, including (a) a phase transition in its smoothness at the threshold $p = d + 1$, and (b) a tradeoff between smoothness and sensitivity to the underlying unlabeled data distribution $P$. Thus, over the range $p \leq d$, the function estimate $\hat{f}$ is degenerate and "spiky," whereas for $p\geq d+1$, the function estimate $\hat{f}$ is smooth. We show that the effect of the underlying density vanishes monotonically with $p$, such that in the limit $p = \infty$, corresponding to the so-called Absolutely Minimal Lipschitz Extension, the estimate $\hat{f}$ is independent of the distribution $P$. Under the assumption of semi-supervised smoothness, ignoring $P$ can lead to poor statistical performance, in particular, we construct a specific example for $d=1$ to demonstrate that $p=2$ has lower risk than $p=\infty$ due to the former penalty adapting to $P$ and the latter ignoring it. We also provide simulations that verify the accuracy of our predictions for finite sample sizes. Together, these properties show that $p = d+1$ is an optimal choice, yielding a function estimate $\hat{f}$ that is both smooth and non-degenerate, while remaining maximally sensitive to $P$.

研究动机与目标

• 理解当未标记样本数 N 趋于无穷时，基于 ℓ_p 的拉普拉斯正则化在半监督学习中的渐近行为。
• 在 d 维几何随机图模型下，刻画函数估计 f̂ 的极限行为。
• 识别解的平滑性与对底层未标记数据分布 P 的敏感性之间的权衡。
• 确定在高维设置下，平衡退化与敏感性的最优 p 值。
• 在聚类假设下，评估不同 p 值（包括 p=2 和 p=∞）的统计性能。

提出的方法

• 将半监督学习问题表述为在标记顶点上具有等式约束的变分优化问题。
• 利用 d 维几何随机图模型，推导出当 N → ∞ 时函数估计 f̂ 的基于 PDE 的表征。
• 分析基于 ℓ_p 的拉普拉斯正则化的最优性条件，以确定其平滑性与退化特性。
• 通过渐近分析表明，当 p ≤ d 时，f̂ 变得退化且呈尖锐形态；当 p ≥ d+1 时，f̂ 保持平滑。
• 证明随着 p 增大，数据分布 P 的影响单调递减，且在 p=∞ 时完全消失。
• 在 d=1 情况下构造反例，表明尽管 p=∞ 是利普希茨最优扩展，但 p=2 由于对 P 的更好适应性，仍可能优于 p=∞。

实验结果

研究问题

• RQ1 当 N → ∞ 且 n 固定时，基于 ℓ_p 的拉普拉斯正则化函数估计 f̂ 的平滑性如何渐近表现？
• RQ2 解从退化行为转变为平滑行为的临界 p 值是什么？
• RQ3 f̂ 对底层未标记数据分布 P 的敏感性如何随 p 变化？
• RQ4 为何在某些情况下 p=2 优于 p=∞，尽管 p=∞ 是最小利普希茨扩展？
• RQ5 p=d+1 是否在平衡平滑性、非退化性与对 P 的敏感性方面达到最优？

主要发现

• 在 p = d+1 处发生了解的平滑性相变，当 p ≤ d 时解表现为退化且尖锐，当 p ≥ d+1 时解变为平滑。
• 当 p ≤ d 时，函数估计 f̂ 变得退化，并在标记点附近表现出尖锐且局域化的波动。
• 当 p ≥ d+1 时，f̂ 保持平滑且行为良好，避免了低 p 范围内出现的尖锐伪影。
• 随着 p 增大，未标记数据分布 P 的影响单调递减，且在 p=∞ 时完全消失。
• 当 p=∞ 时，解对应于绝对最小利普希茨扩展，且与 P 无关，当 P 富含信息时可能导致较差的统计性能。
• 在 d=1 的例子中，p=2 的风险低于 p=∞，因为其能更好地适应 P，而 p=∞ 忽视了 P 的信息，表明 p=d+1 在平衡平滑性与敏感性方面是最优的。