[论文解读] Algorithms for $\ell_p$-based semi-supervised learning on graphs

Mauricio Flores Rios, Jeff Calder+1 more|arXiv (Cornell University)|Jan 15, 2019

Statistical Methods and Inference参考文献 55被引用 10

一句话总结

本文提出了基于图 $p$-Laplacian 的高效算法，用于在 $p > 2$ 时求解 $ au_p$-基半监督图学习，避免了在标签极少时的退化问题。其在 $k$-近邻图上建立了离散到连续的收敛性，表明利普希茨学习（$p = \infty$）能保留数据分布信息——这与在随机几何图中的情况不同——从而为可扩展、分布感知的半监督学习提供了稳健的框架。

ABSTRACT

We develop fast algorithms for solving the variational and game-theoretic $p$-Laplace equations on weighted graphs for $p>2$. The graph $p$-Laplacian for $p>2$ has been proposed recently as a replacement for the standard ($p=2$) graph Laplacian in semi-supervised learning problems with very few labels, where the minimizer of the graph Laplacian becomes degenerate. We present several efficient and scalable algorithms for both the variational and game-theoretic formulations, and present numerical results on synthetic data and real data that illustrate the effectiveness of the $p$-Laplacian formulation for semi-supervised learning with few labels. We also prove new discrete to continuum convergence results for $p$-Laplace problems on $k$-nearest neighbor ($k$-NN) graphs, which are more commonly used in practice than random geometric graphs. Our analysis shows that, on $k$-NN graphs, the $p$-Laplacian retains information about the data distribution as $p o \infty$ and Lipschitz learning ($p=\infty$) is sensitive to the data distribution. This situation can be contrasted with random geometric graphs, where the $p$-Laplacian \emph{forgets} the data distribution as $p o \infty$. Finally, we give a general framework for proving discrete to continuum convergence results in graph-based learning that only requires pointwise consistency and a type of monotonicity.

研究动机与目标

• 解决在仅提供少量标签时标准 $p=2$ 图拉普拉斯在半监督学习中的退化问题。
• 为 $p > 2$ 的 $p$-Laplacian 的变分与博弈论形式化建立高效且可扩展的算法。
• 在实践中广泛应用的 $k$-近邻（k-NN）图上，建立 $p$-Laplace 问题的离散到连续收敛性。
• 证明在 $k$-NN 图上，随着 $p \to \infty$，$p$-Laplacian 学习能保留底层数据分布信息，而这一特性在随机几何图中不成立。
• 提供一个通用框架，利用逐点一致性和单调性条件，证明图学习中的收敛性。

提出的方法

• 在加权图上提出 $p > 2$ 的 $p$-Laplacian 变分形式化，通过最小化梯度的离散 $\ell_p$-范数实现。
• 利用定点迭代和非线性 Gauss-Seidel 方法开发高效的 $p$-Laplacian 数值求解器，以确保可扩展性。
• 将 $p$-Laplacian 引入博弈论形式化，作为极小化-极大化问题，从而实现鲁棒且稳定的数值解。
• 基于逐点一致性与单调性的一般框架，分析离散 $p$-Laplacian 在 $k$-NN 图上收敛于连续 $p$-Laplacian 的过程。
• 证明在 $k$-NN 图上，随着 $p \to \infty$，$p$-Laplacian 能够保留数据分布信息，而这一特性在随机几何图中不成立。
• 建立一个图学习中离散到连续收敛性的通用框架，仅需图算子满足逐点一致性和单调性条件。

实验结果

研究问题

• RQ1 如何在加权图上以高效、可扩展且数值稳定的方式求解 $p > 2$ 的 $p$-Laplacian 问题？
• RQ2 在 $k$-近邻图上，随着 $p \to \infty$，$p$-Laplacian 是否能保留数据分布信息？
• RQ3 在 $k$-NN 图上，$p$-Laplacian 在 $p \to \infty$ 极限下的行为与在随机几何图上的行为有何不同？
• RQ4 能否在最小假设下建立图学习中离散到连续收敛性的通用框架？
• RQ5 $p$-Laplacian 基半监督学习在真实与合成数据上仅使用极少标签点时的实证性能如何？

主要发现

• 所提出的图上 $p$-Laplacian 算法高效且可扩展，使得在标签极少时的半监督学习具有实际应用价值。
• 在 $k$-近邻图上，随着 $p \to \infty$，$p$-Laplacian 能够保留数据分布信息，使利普希茨学习对底层数据结构保持敏感。
• 与 $k$-NN 图相反，在随机几何图上，随着 $p \to \infty$，$p$-Laplacian 会遗忘数据分布，凸显了两者行为的关键差异。
• 在合成与真实数据上的数值结果表明，$p$-Laplacian 形式化在低标签场景下优于标准 $p=2$ 图拉普拉斯。
• 本文提出的通用收敛框架适用于广泛类别的图学习问题，且仅需满足逐点一致性和单调性条件。
• 本文在 $k$-NN 图上建立了 $p$-Laplace 问题的离散到连续收敛性结果，为该类图在实践中的使用提供了理论依据。