[论文解读] A Topological Regularizer for Classifiers via Persistent Homology

Chao Chen, Xiuyan Ni+2 more|arXiv (Cornell University)|Jun 27, 2018

Topological and Geometric Data Analysis被引用 54

一句话总结

TopoReg 引入了一种拓扑惩罚，通过利用持续同伦来减少鲁棒性加权的边界分量数量，从而对分类器边界进行正则化，并将该项与核分类器中的标准损失一起优化。

ABSTRACT

Regularization plays a crucial role in supervised learning. Most existing methods enforce a global regularization in a structure agnostic manner. In this paper, we initiate a new direction and propose to enforce the structural simplicity of the classification boundary by regularizing over its topological complexity. In particular, our measurement of topological complexity incorporates the importance of topological features (e.g., connected components, handles, and so on) in a meaningful manner, and provides a direct control over spurious topological structures. We incorporate the new measurement as a topological penalty in training classifiers. We also pro- pose an efficient algorithm to compute the gradient of such penalty. Our method pro- vides a novel way to topologically simplify the global structure of the model, without having to sacrifice too much of the flexibility of the model. We demonstrate the effectiveness of our new topological regularizer on a range of synthetic and real-world datasets.

研究动机与目标

• 提出一种正则化方法，强调使分类边界的简单性而非全局光滑性。
• 为边界分量定义基于鲁棒性的拓扑惩罚。
• 利用分段线性代理构建可微近似及梯度计算。
• 将该方法应用于核逻辑回归并扩展到多标签设置。
• 在合成数据和真实世界数据集上展示相对于几何基线的有效性。

提出的方法

• 将分类边界建模为 f 的零水平集；通过符号(f)进行分类。
• 通过对每个边界分量 c 应用最小扰动以移除 c，利用持续配对 (p_c, q_c) 来量化边界分量的鲁棒性 ρ(c)。
• 定义 L_T(f) = 对边界分量求和 ρ(c)^2，且排除最鲁邦的分量。
• 对区域离散化；对 f 和 -f 计算持久0D同调以获得配对 Π_f 与 Π_-f；从持久配对推导鲁棒性。
• 证明在网格上的分段线性代理 ĥf 下，L_T(ĥf) 几乎处处可微并推导其梯度。
• 通过使用 ŷ = f − 0.5 作为拓扑惩罚，将其应用于核逻辑回归；计算 ∇_w L_T = sum_c 2ĥf(p_c^*, w) ∂ĥf(p_c^*, w)/∂w，在核设置中给出显式形式。
• 通过使用每个类别标量函数 ψ^k 并汇聚它们的拓扑惩罚，将其扩展到多标签设置。

实验结果

研究问题

• RQ1 是否可以将分类边界的拓扑特性用作正则化项，在不产生过度平滑的情况下提升泛化性能？
• RQ2 如何在监督学习中对拓扑特征的鲁棒性进行量化与优化？
• RQ3 是否存在高效的基于梯度的优化方法来最小化与标准损失耦合的拓扑惩罚？
• RQ4 该框架能否扩展到多标签设置以及超出连通分量的更高维拓扑特征？

主要发现

• TopoReg 在合成数据和真实世界数据集上始终优于或达到强基线的水平。
• 该拓扑惩罚对标签噪声具有鲁棒性，在有噪声条件下甚至优于几何正则化。
• 使用分段线性代理实现对拓扑惩罚的可微性和可控梯度计算。
• 该方法运行高效（各数据集平均约2.08秒），并可扩展到不同数据规模。
• 在所测试的数据集上，TopoReg 的平均性能通常超过传统核方法、SVM 和基于几何的正则化方法。