[论文解读] Hamilton-Jacobi equations on graphs with applications to semi-supervised learning and data depth

Jeff Calder, Mahmood Ettehad|arXiv (Cornell University)|Feb 17, 2022

Topological and Geometric Data Analysis被引用 5

一句话总结

本文提出了 p-eikonal 方程，这是一种基于图的鲁棒距离函数，通过在图上求解哈密顿-雅可比方程，将最短路径距离推广。当 p=1 时，该方法提供了可证明鲁棒的、基于密度加权的测地距离估计器，其连续极限收敛于真实的测地距离，在 MNIST、FashionMNIST 和 CIFAR-10 上的半监督学习与数据深度任务中，相较于标准最短路径方法，表现出更高的准确率和在图扰动下的更强一致性。

ABSTRACT

Shortest path graph distances are widely used in data science and machine learning, since they can approximate the underlying geodesic distance on the data manifold. However, the shortest path distance is highly sensitive to the addition of corrupted edges in the graph, either through noise or an adversarial perturbation. In this paper we study a family of Hamilton-Jacobi equations on graphs that we call the $p$-eikonal equation. We show that the $p$-eikonal equation with $p=1$ is a provably robust distance-type function on a graph, and the $p o \infty$ limit recovers shortest path distances. While the $p$-eikonal equation does not correspond to a shortest-path graph distance, we nonetheless show that the continuum limit of the $p$-eikonal equation on a random geometric graph recovers a geodesic density weighted distance in the continuum. We consider applications of the $p$-eikonal equation to data depth and semi-supervised learning, and use the continuum limit to prove asymptotic consistency results for both applications. Finally, we show the results of experiments with data depth and semi-supervised learning on real image datasets, including MNIST, FashionMNIST and CIFAR-10, which show that the $p$-eikonal equation offers significantly better results compared to shortest path distances.

研究动机与目标

• 解决真实世界数据中，最短路径图距离对边扰动缺乏鲁棒性的问题。
• 开发一种图距离函数，使其在连续极限下保持测地距离近似，同时对受损边具有鲁棒性。
• 基于 p-eikonal 方程，建立数据深度与半监督学习的理论渐近一致性。
• 通过实证结果证明，与最短路径距离相比，p=1 在真实图像数据集的半监督学习与数据深度任务中表现更优。
• 表明引入类别先验可有效利用密度重加权，否则该方法性能会下降。

提出的方法

• 将 p-eikonal 方程定义为图上的哈密顿-雅可比方程，通过涉及边上传播的 p-范数差的非线性PDE实现。
• 采用改进的快速行进法，以与最短路径算法相近的时间复杂度高效求解 p-eikonal 方程。
• 利用粘性解理论与最大值原理，证明 p-eikonal 解从离散到连续极限的收敛性，其极限为密度加权的测地距离函数。
• 通过边权的幂律变换实现密度重加权，以增强高密度区域的权重，从而提升鲁棒性与准确性。
• 通过标签预测中的加权最小值机制引入类别先验，提升在较弱聚类可分性假设下的方法一致性。
• 利用变分自编码器（VAEs）与自编码变换（AutoEncodingTransformations）学习的潜在特征构建图，以提升图像数据上的图质量。

实验结果

研究问题

• RQ1 是否存在一种基于图的距离函数，既能对边扰动保持鲁棒性，又能在连续极限下与真实测地距离保持一致？
• RQ2 在真实世界数据中，p=1 的 p-eikonal 方程是否在半监督学习与数据深度任务中优于最短路径距离？
• RQ3 引入类别先验如何影响密度重加权在图学习方法中的有效性？
• RQ4 p-eikonal 方程中指数 p 的变化对分类准确率与鲁棒性有何影响？
• RQ5 当引入类别先验时，p-eikonal 方程是否能在更弱的聚类可分性假设下实现半监督学习的渐近一致性？

主要发现

• 当 p=1 时，p-eikonal 方程在图扰动下具有可证明的鲁棒性，在 MNIST、FashionMNIST 和 CIFAR-10 上的半监督学习中显著优于最短路径距离。
• p-eikonal 方程的连续极限收敛于密度加权的测地距离函数，其收敛速率通过粘性解理论得到了定量分析。
• 在半监督学习中，结合类别先验的 p-eikonal 方法在 MNIST 上性能与泊松学习相当，在 CIFAR-10 上更优，即使每类仅有 1–5 个标签。
• 若无类别先验，密度重加权会降低性能；但引入先验后，性能显著提升，验证了先验引入的理论优势。
• 当无类别先验时，p=2 的分类准确率高于 p=1；但使用先验后，p=1 的性能最高，表明在实际应用中，结合先验的 p=1 为最优选择。
• 在聚类可分性假设下，该方法在半监督学习中实现了渐近一致性，且证明过程比基于图拉普拉斯的方法更简洁。