[论文解读] 3D Keypoint Detection Based on Deep Neural Network with Sparse Autoencoder

Xinyu Lin, Ce Zhu+2 more|arXiv (Cornell University)|Apr 30, 2016

3D Shape Modeling and Analysis参考文献 36被引用 3

一句话总结

本文提出了一种新颖的3D关键点检测方法，采用深度神经网络（DNN）结合稀疏自编码器（SAE）构建回归模型，综合利用多尺度表示下的局部几何特征与全局拉普拉斯谱信息。该方法在关键点检测精度上优于五种最先进方法，尤其在更高定位误差容忍度下表现更优，在数据集A上的平均IOU为0.275，在数据集B上为0.272。

ABSTRACT

Researchers have proposed various methods to extract 3D keypoints from the surface of 3D mesh models over the last decades, but most of them are based on geometric methods, which lack enough flexibility to meet the requirements for various applications. In this paper, we propose a new method on the basis of deep learning by formulating the 3D keypoint detection as a regression problem using deep neural network (DNN) with sparse autoencoder (SAE) as our regression model. Both local information and global information of a 3D mesh model in multi-scale space are fully utilized to detect whether a vertex is a keypoint or not. SAE can effectively extract the internal structure of these two kinds of information and formulate high-level features for them, which is beneficial to the regression model. Three SAEs are used to formulate the hidden layers of the DNN and then a logistic regression layer is trained to process the high-level features produced in the third SAE. Numerical experiments show that the proposed DNN based 3D keypoint detection algorithm outperforms current five state-of-the-art methods for various 3D mesh models.

研究动机与目标

• 为解决传统几何方法在3D关键点检测中的局限性，如灵活性差、对噪声和局部变化敏感等问题。
• 开发一种基于学习的框架，能够自适应地在多种3D网格模型中实现高召回率与高精度的关键点检测。
• 将局部几何特性与全局谱特征（拉普拉斯谱）整合进统一的深度学习模型，以提升检测的鲁棒性。
• 通过标准化评估指标，展示所提出的DNN结合SAE相较于现有最先进方法的优越性。

提出的方法

• 该方法将3D关键点检测建模为回归问题，采用包含三个堆叠稀疏自编码器（SAE）作为隐藏层的深度神经网络（DNN）。
• 从三种几何属性中提取局部特征：到切平面的欧氏距离、法向量夹角以及邻域环中的多种曲率。
• 全局特征源自3D网格模型的对数拉普拉斯谱，用于捕捉形状级别的结构信息。
• SAE学习局部与全局特征的分层、高层级表示，从而有效抽象复杂模式。
• 最后一层逻辑回归层处理第三个SAE输出的高层特征，以预测每个顶点是否为关键点。
• 整个DNN通过标注的3D网格数据进行端到端训练，优化目标为最小化回归损失。

实验结果

研究问题

• RQ1 基于稀疏自编码器的深度神经网络能否有效学习并融合多尺度的局部与全局特征，以实现3D关键点检测？
• RQ2 所提出的方法在检测精度与鲁棒性方面是否优于现有的几何方法与基于机器学习的3D关键点检测技术？
• RQ3 拉普拉斯谱特征的整合在多大程度上提升了关键点检测在多样化3D模型上的泛化能力与稳定性？
• RQ4 在不同定位误差容忍度下，该模型的性能保持程度如何？

主要发现

• 所提出的DNN结合SAE在数据集A上达到0.275的平均交并比（IOU）得分，在数据集B上为0.272，优于五种最先进方法。
• 在较高定位误差容忍度（r）下表现更优，尤其当r较大时，表明对定位不确定性具有更强鲁棒性。
• FNE（漏检误差）与FPE（误检误差）指标显著低于对比方法，数据集A上的FNE-A为0.509，FPE-A为0.561。
• WME（加权平均误差）指标也达到最小，数据集A为0.484，数据集B为0.490，表明与人类视觉感知更一致。
• 检测到的关键点在不同网格模型间保持稳定，且在肩部、关节等复杂区域与人工标注的显著特征高度一致。