[论文解读] Learning for Multi-Model and Multi-Type Fitting

Xun Xu, Loong‐Fah Cheong+1 more|arXiv (Cornell University)|Jan 29, 2019

Anomaly Detection Techniques and Applications参考文献 58被引用 4

一句话总结

该论文提出了一种深度学习框架，用于多模型和多类型几何拟合，通过学习聚类友好的特征嵌入，以最大化类间分离度并最小化类内方差。该方法使用监督对比损失（MIMI）训练网络，使数据点的特征嵌入在进行K-means聚类时能够实现精确的模型拟合并自动进行模型选择，在合成数据和真实世界多类型拟合任务中实现了最先进性能，且超参数调优极少。

ABSTRACT

Multi-model fitting has been extensively studied from the random sampling and clustering perspectives. Most assume that only a single type/class of model is present and their generalizations to fitting multiple types of models/structures simultaneously are non-trivial. The inherent challenges include choice of types and numbers of models, sampling imbalance and parameter tuning, all of which render conventional approaches ineffective. In this work, we formulate the multi-model multi-type fitting problem as one of learning deep feature embedding that is clustering-friendly. In other words, points of the same clusters are embedded closer together through the network. For inference, we apply K-means to cluster the data in the embedded feature space and model selection is enabled by analyzing the K-means residuals. Experiments are carried out on both synthetic and real world multi-type fitting datasets, producing state-of-the-art results. Comparisons are also made on single-type multi-model fitting tasks with promising results as well.

研究动机与目标

• 解决在存在噪声和采样不平衡的情况下，同时拟合多种类型几何模型（如直线、圆、单应性）的挑战。
• 通过学习数据驱动的、本质上聚类友好的特征表示，消除模型拟合中手动调参的需要。
• 通过在嵌入特征空间中对K-means聚类的残差进行分析，实现自动模型选择（即确定聚类/模型数量）。
• 克服传统RANSAC风格和子空间聚类方法在处理混合类型模型及高维重叠子空间时的局限性。
• 开发一个统一框架，能够泛化至多模型（同类型，多个实例）和多类型（混合模型类别）拟合场景。

提出的方法

• 该方法使用一种新颖的MIMI损失训练深度神经网络，以在特征空间中最大化类间距离并最小化类内方差。
• 主干网络CorresNet处理非网格化数据（如点对应关系），输出维度为d的特征嵌入，其中d的选择与预期的最大聚类数相匹配。
• 推理通过在神经网络输出的特征嵌入上应用K-means聚类完成，该方法可将相同模型类型的点分组。
• 通过在K-means残差上应用简单且无需参数的启发式方法（如二阶差分SOD和轮廓系数分析）实现模型选择。
• MIMI损失通过使用标注的内点和外点进行监督训练，训练期间固定聚类分配以稳定优化过程。
• 该框架在合成数据和真实数据集（如KT3DMoSeg）上进行了评估，表现出对采样不平衡和模型类型模糊性的鲁棒性。

实验结果

研究问题

• RQ1 深度神经网络能否学习到对多模型和多类型几何拟合具有内在聚类友好性的特征嵌入？
• RQ2 所提出的方法能否在无需复杂超参数调优的情况下自动确定模型数量（即实现模型选择）？
• RQ3 在模型类型模糊或重叠（如直线、圆、椭圆）的混合类型拟合任务中，网络性能如何？
• RQ4 MIMI损失是否优于仅优化类间分离或类内紧凑性的消融方法？
• RQ5 该方法能否在多模型（同类型，多个实例）和多类型（混合类型）场景中保持一致的性能表现？

主要发现

• 在KT3DMoSeg数据集上，该方法在模型选择上的平均分类误差为7.36%，正确率为86.36%，优于其他基线方法的SOD和轮廓系数。
• MIMI损失在聚类误差方面始终优于消融方法（MaxInter、MinIntra、K-means损失），证明了联合优化类间分离与类内紧凑性的必要性。
• 最优嵌入维度被确定为5至6之间，与每项任务中最大聚类数一致，表明此可作为实用启发式方法。
• 该方法在嵌入维度4至7范围内表现出稳定性能，表明对超参数选择具有鲁棒性。
• 通过T-SNE进行的特征可视化证实，所学嵌入能根据运动类型（如仿射、单应性）对点进行分组，即使底层几何关系模糊也成立。
• 该方法在合成多类型拟合和真实世界多模型拟合任务中均实现了最先进性能，且对参数调优高度不敏感。