[论文解读] A Topology Layer for Machine Learning

Rickard Brüel‐Gabrielsson, Bradley J. Nelson+4 more|arXiv (Cornell University)|May 29, 2019

Topological and Geometric Data Analysis参考文献 35被引用 46

一句话总结

一个可微拓扑层为水平集和基于边的滤波序列计算持久性同调，从而在生成模型中实现正则化、拓扑先验以及基于拓扑的对抗攻击。

ABSTRACT

Topology applied to real world data using persistent homology has started to find applications within machine learning, including deep learning. We present a differentiable topology layer that computes persistent homology based on level set filtrations and edge-based filtrations. We present three novel applications: the topological layer can (i) regularize data reconstruction or the weights of machine learning models, (ii) construct a loss on the output of a deep generative network to incorporate topological priors, and (iii) perform topological adversarial attacks on deep networks trained with persistence features. The code (www.github.com/bruel-gabrielsson/TopologyLayer) is publicly available and we hope its availability will facilitate the use of persistent homology in deep learning and other gradient based applications.

研究动机与目标

• 引入一个可微持久性层，适用于欧氏数据、图像和三维数据的水平集和基于边的滤波序列。
• 通过在模型权重或输出上直接对拓扑特征进行惩罚来展示正则化。
• 将拓扑先验整合到深度生成网络中，以提升生成数据的质量。
• 展示通过操作持久性特征影响分类的基于拓扑的对抗攻击。

提出的方法

• 通过可微框架对水平集和基于边的过滤序列计算持久性同调。
• 提供一个 PyTorch 扩展，使持久性图能够进行反向传播。
• 在持久性图上定义损失函数（如 E(p,q,i0;PDk) 和 Wasserstein）以用于基于梯度的优化。
• 将产生-死亡事件映射到过滤单元以实现对输入或参数的梯度计算。
• 将拓扑损失用于正则化线性模型以及改进 GAN 生成的图像和 3D 体素数据。
• 通过优化输入来改变拓扑特征与分类，展示对抗攻击。

实验结果

研究问题

• RQ1 可微持久性层是否能集成到主流基于梯度的学习管线中？
• RQ2 与传统范数相比，拓扑惩罚如何影响正则化和特征聚类？
• RQ3 拓扑先验对 GAN 生成的图像和 3D 体素数据质量的影响是什么？
• RQ4 基于持久性的特征是否能实现有效的拓扑对抗攻击并揭示模型漏洞？

主要发现

• 可微拓扑层使常见过滤序列上的持久性图能够进行反向传播。
• 拓扑正则化可以鼓励模型权重聚类或减少局部极大值的数量。
• 生成模型中的拓扑先验可以提升生成图像质量并改变潜在空间插值，使形态变化在拓扑上保持一致。
• 拓扑对抗攻击可以操作持久性特征以诱导错误分类，对不同模型类型的效果不同。
• 经验结果表明在使用拓扑感知训练时生成器评估指标有可衡量的改善。
• 该方法支持 0D 和 1D 持久性，结合水平集与基于边的过滤序列，涵盖 2D 图像和 3D 体素数据。