[论文解读] Deep Learning Representation using Autoencoder for 3D Shape Retrieval

Zhuotun Zhu, Xinggang Wang+3 more|arXiv (Cornell University)|Sep 25, 2014

3D Shape Modeling and Analysis参考文献 18被引用 8

一句话总结

本文提出了一种新颖的深度学习方法用于3D形状检索，通过将3D形状投影到2D深度图像，并使用自编码器学习全局、判别性特征。该方法通过将这些深度特征与局部SIFT描述符结合，显著提升了在PSB和ESB等基准数据集上的检索准确率，实现了最先进性能。

ABSTRACT

We study the problem of how to build a deep learning representation for 3D shape. Deep learning has shown to be very effective in variety of visual applications, such as image classification and object detection. However, it has not been successfully applied to 3D shape recognition. This is because 3D shape has complex structure in 3D space and there are limited number of 3D shapes for feature learning. To address these problems, we project 3D shapes into 2D space and use autoencoder for feature learning on the 2D images. High accuracy 3D shape retrieval performance is obtained by aggregating the features learned on 2D images. In addition, we show the proposed deep learning feature is complementary to conventional local image descriptors. By combing the global deep learning representation and the local descriptor representation, our method can obtain the state-of-the-art performance on 3D shape retrieval benchmarks.

研究动机与目标

• 解决3D形状数据有限及3D结构复杂性在训练3D形状识别深度学习模型时带来的挑战。
• 通过在2D深度图像上训练的自编码器，开发一种鲁棒的、无监督的3D形状深度表征。
• 通过结合全局深度特征与局部手工设计的描述符，提升3D形状检索性能。
• 证明深度全局特征与局部描述符在提升检索准确率方面的互补性。

提出的方法

• 将3D形状从不同视角投影为多张2D深度图像，构建基于视图的表示。
• 在2D深度图像上训练深度自编码器，以无监督方式学习紧凑且分层的特征表示。
• 将自编码器的编码层（瓶颈表示）用作3D形状匹配的全局深度特征。
• 在检索任务中使用L2距离（p=2）对代码向量进行相似性度量。
• 通过线性融合方式将自编码器的全局特征与BoF-SIFT特征结合，以提升性能。
• 在Princeton Shape Benchmark（PSB）和Engineering Shape Benchmark（ESB）上使用标准评估指标（NN、First-Tier、Second-Tier）进行评估。

实验结果

研究问题

• RQ1 自编码器能否有效从2D深度图像中学习到用于3D形状检索的判别性全局特征？
• RQ2 基于自编码器的特征在标准3D检索基准上的性能与现有全局形状描述符相比如何？
• RQ3 深度全局特征在多大程度上能与SIFT等局部描述符互补，以提升3D形状检索性能？
• RQ4 结合自编码器特征与BoF-SIFT的混合模型能否实现最先进性能？

主要发现

• 在Princeton Shape Benchmark（PSB）上，基于自编码器的方法达到了72.4%的最近邻（NN）准确率，优于所有其他全局描述符。
• 在Engineering Shape Benchmark（ESB）上，自编码器达到了85.7%的NN准确率，超越了包括Hybrid和DESIRE在内的现有全局方法。
• 自编码器与BoF-SIFT表现出显著互补性：混合方法在PSB上实现了77.5%的NN、52.4%的First-Tier和65.4%的Second-Tier准确率，超过此前最先进水平。
• First-Tier和Second-Tier性能提升超过7个百分点，证实了将全局深度特征与局部描述符结合的有效性。
• 该方法在不同数据集上表现出鲁棒性，尽管训练协议存在差异，但在PSB和ESB上均实现了稳定的性能提升。
• 结果验证了自编码器能够从2D投影中学习到有意义且可迁移的特征，从而在无监督条件下实现有效的3D形状表征。