[论文解读] Diffeomorphic Learning

Laurent Younès|arXiv (Cornell University)|Jun 4, 2018

Medical Image Segmentation Techniques参考文献 22被引用 6

一句话总结

本文提出了一种新颖的分类框架——微分同胚学习（diffeomorphic learning），通过平滑、可逆的微分同胚变换训练数据，以实现线性可分性，同时利用微分同胚群中的测地距离惩罚偏离恒等变换的程度。该方法结合了形状分析技术与机器学习，在具有挑战性的合成数据集上表现出色，通过结构化的非线性变换正则化提升了泛化性能。

ABSTRACT

We introduce in this paper a learning paradigm in which the training data is transformed by a diffeomorphic transformation before prediction. The learning algorithm minimizes a cost function evaluating the prediction error on the training set penalized by the distance between the diffeomorphism and the identity. The approach borrows ideas from shape analysis where diffeomorphisms are estimated for shape and image alignment, and brings them in a previously unexplored setting, estimating, in particular diffeomorphisms in much larger dimensions. After introducing the concept and describing a learning algorithm, we present diverse applications, mostly with synthetic examples, demonstrating the potential of the approach, as well as some insight on how it can be improved.

研究动机与目标

• 开发一种新型学习范式，利用微分同胚变换提升非线性可分数据的分类性能。
• 将先前用于图像和形状配准的微分同胚形状分析方法，适配至高维数据的分类设置中。
• 通过从恒等变换出发的测地距离对变换进行正则化，促进平滑、无碰撞的数据变形，从而增强泛化能力。
• 探索微分同胚学习在标准分类器对比下的可行性与性能表现，特别是在高维和复杂数据场景下的表现。
• 研究微分同胚变换与分类器组件的参数敏感性及优化策略。

提出的方法

• 该方法将分类建模为 $ x \mapsto F(\psi(x)) $，其中 $ \psi $ 是 $ \mathbb{R}^d $ 上的微分同胚，$ F $ 是由参数 $ \theta $ 参数化的线性或逻辑分类器。
• 目标函数最小化以下三者组合：(1) 从恒等变换出发的测地距离 $ D({\rm id}, \psi)^2 $，(2) 预测误差 $ \Gamma(F(\cdot,\theta), \psi \cdot \mathcal{T}_0) $，以及 (3) 对 $ \theta $ 的 $ \ell^2 $ 正则化。
• 微分同胚 $ \psi $ 通过向量场的流构建，离散化为 $ T $ 个时间步，变换路径通过大变形微分同胚测地度量映射（LDDMM）中的最优控制原理计算。
• 核尺度 $ \rho $ 自适应设定为 $ \rho_0 = \min(\rho_1, \rho_2) $，其中 $ \rho_1 $ 为类内第5百分位距离的第75百分位数，$ \rho_2 $ 为类间最小距离的第10百分位数。
• 训练过程采用类似动态规划的优化方法，$ \sigma^2 $ 在线调整以使训练误差趋近目标值 $ \delta = 0.005 $，且 $ \lambda = 1 $ 用于对 $ \theta $ 的 $ \ell^2 $ 正则化。
• 该方法使用再生核希尔伯特空间（RKHS）表示向量场，以确保微分同胚流的光滑性。

实验结果

研究问题

• RQ1 输入数据的微分同胚变换是否能提升分类任务中的线性可分性？
• RQ2 通过从恒等变换出发的测地距离进行正则化，如何影响泛化性能？
• RQ3 关键超参数如核尺度 $ \rho $、时间离散化 $ T $ 和 $ \sigma^2 $ 对分类准确率有何影响？
• RQ4 在非线性可分的合成数据集上，微分同胚学习与标准分类器相比性能如何？
• RQ5 该方法在高维数据和复杂数据流形上的可扩展性如何？

主要发现

• 当 $ \rho = 4\rho_0 $ 时，该方法在 Xor 数据集上取得最低误差率，误差从 0.473 降低至 0.01，表明在复杂情况下对核尺度具有显著敏感性。
• 在混合高斯分布数据集中，误差率从 $ T=1 $ 时的 0.322 降低至 $ T=100 $ 时的 0.109，表明随着 $ T $ 增大，结果趋近于连续极限。
• 在 RBF 和球面层数据集上，误差率在 $ T=10 $ 时趋于稳定，且在 $ T>20 $ 后无显著改善，表明 $ T=10 $ 已足够实现收敛。
• 默认核尺度 $ \rho_0 $ 在大多数数据集上均达到近似最优性能，偏离该值仅导致轻微性能下降，除 Xor 任务外，增大 $ \rho $ 显著提升了结果。
• 通过在线调整 $ \sigma^2 $，该方法在所有数据集上均实现了训练误差目标 $ \delta = 0.005 $，表明损失函数被有效优化。
• 该方法在具有挑战性的合成数据集（包括环面和线段长度等非线性流形）上表现出竞争力，多数情况下误差率低于 0.10。