[论文解读] Curve-Structure Segmentation from Depth Maps: A CNN-based Approach and Its Application to Exploring Cultural Heritage Objects

Yuhang Lu, Jun Zhou+5 more|arXiv (Cornell University)|Nov 7, 2017

Image Processing and 3D Reconstruction被引用 7

一句话总结

本文提出一种基于三阶段卷积神经网络（CNN）的方法，用于从考古陶器碎片的噪声深度图中分割弱印记的曲线结构。首先通过全卷积网络（FCN）估计曲线骨架，再利用密集预测网络对骨架进行优化，最后通过自适应阈值化方法恢复宽度。该方法在曲线分割与设计匹配任务中，F1值达到0.731，显著优于低层次方法和基线深度学习方法。

ABSTRACT

Motivated by the important archaeological application of exploring cultural heritage objects, in this paper we study the challenging problem of automatically segmenting curve structures that are very weakly stamped or carved on an object surface in the form of a highly noisy depth map. Different from most classical low-level image segmentation methods that are known to be very sensitive to the noise and occlusions, we propose a new supervised learning algorithm based on Convolutional Neural Network (CNN) to implicitly learn and utilize more curve geometry and pattern information for addressing this challenging problem. More specifically, we first propose a Fully Convolutional Network (FCN) to estimate the skeleton of curve structures and at each skeleton pixel, a scale value is estimated to reflect the local curve width. Then we propose a dense prediction network to refine the estimated curve skeletons. Based on the estimated scale values, we finally develop an adaptive thresholding algorithm to achieve the final segmentation of curve structures. In the experiment, we validate the performance of the proposed method on a dataset of depth images scanned from unearthed pottery sherds dating to the Woodland period of Southeastern North America.

研究动机与目标

• 解决从高度噪声的深度图中分割考古陶器碎片上微弱、弱印记的曲线结构的挑战。
• 克服经典低层次图像分割方法对噪声和遮挡敏感的局限性。
• 利用曲线的高层次几何与模式信息（如平滑性、平行性）提升分割的鲁棒性。
• 构建一种监督式深度学习框架，将骨架估计与宽度恢复分离，以提升特征学习能力。
• 实现精确的曲线结构分割，以支持考古学中的设计匹配与文化年代构建等任务。

提出的方法

• 使用全卷积网络（FCN）预测曲线结构的骨架，并在每个骨架像素处估计一个尺度值，以表示局部曲线宽度。
• 应用密集预测卷积网络作为像素级分类器，对FCN生成的初始骨架进行优化。
• 实施一种自适应阈值化算法，利用估计的尺度值恢复曲线的完整宽度，生成最终的分割掩码。
• 在包含中南部时期陶器碎片深度图像的数据集上，使用真实分割标签以端到端的监督方式训练模型。
• 将分割任务分解为三个阶段——骨架预测、骨架优化与宽度恢复，以实现几何结构与宽度估计的解耦。
• 在训练过程中使用多尺度损失函数，以提高骨架与尺度预测的准确性，增强对噪声与表面粗糙度的鲁棒性。

实验结果

研究问题

• RQ1 深度学习方法能否有效分割考古文物高度噪声深度图中的微弱曲线结构？
• RQ2 将骨架估计与宽度恢复分离，是否相比直接端到端分割能提升分割精度？
• RQ3 高层次几何与模式先验（如平滑性、平行性）在噪声大、对比度低的深度数据上，能在多大程度上提升性能？
• RQ4 所提出方法在曲线分割与设计匹配任务中，与经典低层次方法（如DoG）及其他深度学习基线相比表现如何？
• RQ5 分割结果能否显著提升下游考古学任务（如使用Chamfer距离进行设计匹配）的性能？

主要发现

• 所提方法在陶器碎片数据集上的F1值达到0.731，显著优于DoG等经典低层次方法及基线深度学习模型。
• 消融实验表明，若移除密集预测优化步骤，F1值降至0.662，证明该步骤在减少误报中的关键作用。
• 将自适应阈值化替换为固定半径的形态学膨胀操作，F1值下降3.5%，证实了尺度感知宽度恢复的优越性。
• 若将FCN修改为直接预测分割而非骨架与尺度值，F1值降至0.665，表明三阶段设计对性能至关重要。
• 在使用累积匹配特征（CMC）进行设计匹配时，该方法在rank-1的准确率达到20%，rank-15准确率达到78%，显著优于DoG、FCN与Deep Skeleton基线。
• CMC曲线显示，所提方法在所有排名上均保持强劲性能，证实其在考古学图案匹配应用中的鲁棒性与可靠性。