[论文解读] Connectivity-Optimized Representation Learning via Persistent Homology

Christoph D. Hofer, Roland Kwitt+2 more|arXiv (Cornell University)|Jun 21, 2019

Topological and Geometric Data Analysis被引用 31

一句话总结

该论文提出了一种基于持久同调的可微连通性损失，用于优化自编码器潜在空间的拓扑结构，从而提升单类学习性能。通过在辅助数据上训练单一自编码器，该方法在CIFAR-10、CIFAR-100、Tiny-ImageNet和ImageNet上均实现了低样本场景下的最先进性能，尤其在类内样本极少时，显著优于先前方法。

ABSTRACT

We study the problem of learning representations with controllable connectivity properties. This is beneficial in situations when the imposed structure can be leveraged upstream. In particular, we control the connectivity of an autoencoder's latent space via a novel type of loss, operating on information from persistent homology. Under mild conditions, this loss is differentiable and we present a theoretical analysis of the properties induced by the loss. We choose one-class learning as our upstream task and demonstrate that the imposed structure enables informed parameter selection for modeling the in-class distribution via kernel density estimators. Evaluated on computer vision data, these one-class models exhibit competitive performance and, in a low sample size regime, outperform other methods by a large margin. Notably, our results indicate that a single autoencoder, trained on auxiliary (unlabeled) data, yields a mapping into latent space that can be reused across datasets for one-class learning.

研究动机与目标

• 开发一种可微损失函数，利用拓扑信息控制自编码器潜在空间的连通性属性。
• 通过在无标签辅助数据上训练单一自编码器，实现跨数据集的可迁移、可重用表示。
• 通过强制潜在空间呈现结构化、同质化排列，提升单类学习性能，尤其在小样本场景下。
• 为控制潜在空间连通性所引发的密集化效应提供理论依据。
• 证明基于拓扑正则化表示构建的核密度估计器可生成更优的单类模型。

提出的方法

• 作者提出一种新颖的连通性损失，基于使用持久同调从迷你批次潜在表示中提取的持久性条形图进行计算。
• 该损失函数通过最小化与不连通分量相关的拓扑特征，以促进潜在空间中点的同质分布。
• 通过可微的维特里斯-里普斯复形变体和矩阵约化，使持久同调计算实现可微，从而支持反向传播。
• 该方法采用组合损失进行自编码器训练：重建损失加上连通性损失，其中超参数λ控制两者之间的权衡。
• 学习到的潜在表示被跨数据集复用于单类建模，其中应用核密度估计来建模类内分布。
• 该方法在CIFAR-10、CIFAR-100、Tiny-ImageNet和ImageNet上进行评估，主要指标为AUC。

实验结果

研究问题

• RQ1 能否使源自持久同调的拓扑约束实现可微，并用于指导深度自编码器的表示学习？
• RQ2 在潜在空间中强制连通性是否能产生更密集、更具结构化的表示，从而有利于下游单类学习任务？
• RQ3 在无标签数据上训练的单一自编码器能否生成可迁移的表示，使其在多样化的数据集上泛化于单类建模？
• RQ4 与最先进单类学习方法相比，该方法在小样本场景下的表现如何？
• RQ5 控制潜在空间连通性时，会涌现出哪些理论特性，特别是关于表示的密集化与分离性？

主要发现

• 在温和条件下，连通性损失具备可微性，支持通过持久同调计算进行端到端反向传播训练。
• 理论分析表明，控制连通性会诱导出与样本量相关的潜在空间密集化效应，从而有利于下游核密度估计。
• 在CIFAR-10上使用120个类内样本时，该方法AUC达到0.72，显著优于ADT-120（0.66）及其他基线方法。
• 在CIFAR-100上，使用120个样本时，该方法AUC达到0.79，显著优于ADT-120（0.75），展现出强大的泛化能力。
• 当使用在CIFAR-100上预训练的单一自编码器时，该方法在ImageNet上保持一致的性能（AUC ≈ 0.72），表明其具有强大的迁移能力。
• 在小样本场景下，所提出的单类模型显著优于最先进方法，尤其当每类训练样本数量限制在约120个时。