[论文解读] Analysis of $p$-Laplacian Regularization in Semi-Supervised Learning

Dejan Slepčev, Matthew Thorpe|arXiv (Cornell University)|Jul 19, 2017

Statistical Methods and Inference被引用 3

一句话总结

本文分析了半监督学习中 p-Laplacian 正则化，表明在图连接半径 ε(n) 的最优缩放下，离散最小化器一致收敛至连续极限。对于 p > d，建立了渐近一致性，并提出了一种改进模型，克服了标准公式中对 ε(n) 的严格上界限制，使得即使在 ε(n) 衰减较慢时也能实现稳定收敛。

ABSTRACT

We investigate a family of regression problems in a semi-supervised setting. The task is to assign real-valued labels to a set of $n$ sample points, provided a small training subset of $N$ labeled points. A goal of semi-supervised learning is to take advantage of the (geometric) structure provided by the large number of unlabeled data when assigning labels. We consider random geometric graphs, with connection radius $\epsilon(n)$, to represent the geometry of the data set. Functionals which model the task reward the regularity of the estimator function and impose or reward the agreement with the training data. Here we consider the discrete $p$-Laplacian regularization. We investigate asymptotic behavior when the number of unlabeled points increases, while the number of training points remains fixed. We uncover a delicate interplay between the regularizing nature of the functionals considered and the nonlocality inherent to the graph constructions. We rigorously obtain almost optimal ranges on the scaling of $\epsilon(n)$ for the asymptotic consistency to hold. We prove that the minimizers of the discrete functionals in random setting converge uniformly to the desired continuum limit. Furthermore we discover that for the standard model used there is a restrictive upper bound on how quickly $\epsilon(n)$ must converge to zero as $n o \infty$. We introduce a new model which is as simple as the original model, but overcomes this restriction.

研究动机与目标

• 严格分析当未标记点数 n → ∞ 时，半监督学习中 p-Laplacian 正则化回归的渐近行为。
• 确定图连接半径 ε(n) 的最优缩放，以实现向连续极限的收敛。
• 解决标准模型中对 ε(n) 的严格上界限制，该限制会限制在 p ≤ d 时的收敛性。
• 提出并分析一种改进的正则化模型，防止尖峰形成，并在更广泛条件下实现收敛。
• 在对 ε(n) 的最小假设下，建立离散最小化器对连续解的统一收敛。

提出的方法

• 构建离散 p-Laplacian 正则化泛函 E(p)n(f) = 1/ε^p n^2 ∑_{i,j} W_ij |f(xi)−f(xj)|^p，其中 W_ij = η_ε(|xi−xj|)，通过惩罚非平滑性并施加标签约束。
• 使用连接半径为 ε(n) 的随机几何图来建模数据几何结构，假设底层测度 µ 在紧集 Ω ⊂ ℝ^d 上具有正密度 ρ。
• 应用 Gamma-收敛理论，证明当 n → ∞ 且 ε(n) → 0 时，离散泛函 E(p)n(f) 的 Γ-极限为连续泛函 E(p)∞(f) = σ ∫_Ω |∇f(x)|^p ρ^2(x) dx。
• 提出一种改进模型，将标签扩展至训练点周围半径为 2ε 的球内，以防止病态情形（p ≤ d）下的尖峰形成。
• 在 2D 数据上进行数值实验，p = 4，以验证理论缩放规律，并比较不同 ε(n) 和约束半径下的误差行为。
• 分析误差对 ε(n) 相对于连通性阈值 ε_conn(n) 的依赖关系，揭示从病态到良态情形的急剧转变。

实验结果

研究问题

• RQ1 在 p-Laplacian 正则化半监督学习中，实现渐近一致性的最优连接半径 ε(n) 缩放为何？
• RQ2 为何标准模型在 p ≤ d 时对 ε(n) 施加了限制性上界，导致收敛受阻？
• RQ3 通过扩展标签约束，能否使改进的正则化模型克服标准模型中的收敛限制？
• RQ4 离散最小化器的误差如何依赖于 ε(n) 相对于连通性阈值的关系？为何在较粗的图分辨率下观察到误差最小值？
• RQ5 将标签扩展至更小的约束球（如半径 ε/2）在病态情形下是否仍能有效防止尖峰形成？

主要发现

• 当 p > d 时，离散 p-Laplacian 泛函的最小化器在 n → ∞ 且 ε(n) → 0 时一致收敛至连续泛函的最小化器。
• 标准模型对 ε(n) 施加了严格上界，要求 ε(n) ≍ n^{-0.25} 才能实现收敛，但该衰减速率过慢，不具实用性。
• 所提出的改进模型（标签扩展至半径 2ε 的球内）确保收敛，只要 1 ≫ ε(n) ≫ (log n / n)^{1/d}，允许 ε(n) 衰减更慢。
• 数值结果表明，即使仅将标签扩展至半径 ε/2，也能防止尖峰形成，并相比原始模型提升近似精度。
• 最小误差对应的最优 ε(n) 位于连通性阈值附近，当 ε(n) 过小（图不连通）或过大（过度平滑）时，误差均上升。
• 观测到的连通性半径缩放 ε_conn(n) ≈ 1.368 n^{-0.452} 接近理论预测的 n^{-0.5}，而上界缩放 ε_upper(n) ≈ 0.654 n^{-0.270} 接近理论预测的 n^{-0.25}。