[论文解读] Computational Ceramicology

Barak Itkin, Lior Wolf+1 more|arXiv (Cornell University)|Nov 22, 2019

Image Processing and 3D Reconstruction参考文献 46被引用 6

一句话总结

本文提出了一种结合形状与装饰特征的深度学习框架，用于考古陶器识别，通过生成合成数据和一种新型重加权损失函数，有效缓解了数据稀缺与类别不平衡问题。该方法在真实世界测试集上实现了高准确率，展现出在多样化数据集上的鲁棒性与泛化能力。

ABSTRACT

Field archeologists are called upon to identify potsherds, for which purpose they rely on their experience and on reference works. We have developed two complementary machine-learning tools to propose identifications based on images captured on site. One method relies on the shape of the fracture outline of a sherd; the other is based on decorative features. For the outline-identification tool, a novel deep-learning architecture was employed, one that integrates shape information from points along the inner and outer surfaces. The decoration classifier is based on relatively standard architectures used in image recognition. In both cases, training the classifiers required tackling challenges that arise when working with real-world archeological data: paucity of labeled data; extreme imbalance between instances of the different categories; and the need to avoid neglecting rare classes and to take note of minute distinguishing features of some classes. The scarcity of training data was overcome by using synthetically-produced virtual potsherds and by employing multiple data-augmentation techniques. A novel form of training loss allowed us to overcome the problems caused by under-populated classes and non-homogeneous distribution of discriminative features.

研究动机与目标

• 开发一种人工智能工具，协助现场考古学家仅通过现场拍摄的图像识别陶片类型。
• 解决陶器分类中真实标注数据有限的问题，特别是稀有或代表性不足类型的分类挑战。
• 在极端类别不平衡、噪声数据以及破碎陶片导致的视觉信息不完整等条件下，提升分类准确率。
• 构建一个鲁棒且可泛化的系统，使其在多样化的考古数据集与真实世界条件下均表现良好。
• 部署一个可工作的移动应用程序，为现场考古学家提供按置信度排序的类型预测结果。

提出的方法

• 提出一种新型深度学习架构OutlineNet，通过整合内轮廓与外断裂轮廓对陶器形状进行分类，采用独特的点序感知表示方法，以保留几何上下文信息。
• 通过将2D器物轮廓旋转生成3D模型并模拟随机断裂，生成合成陶片，实现在无需完整3D重建的前提下大规模数据增强。
• 设计一种新型训练损失函数CareLoss，根据误分类误差与假阳性率对样本进行重加权，提升稀有及难以区分类别的分类性能。
• 针对装饰特征分类，采用迁移学习方法，使用在小型真实考古数据集上微调的预训练CNN模型，该数据集涵盖多种光照条件。
• 采用几何变换与色彩抖动等数据增强技术，提升模型对真实世界图像差异的鲁棒性。
• 系统在移动设备上进行图像处理，半自动提取轮廓并利用参考标尺估算尺度，实现在现场环境下的实时推理。

实验结果

研究问题

• RQ1 当真实训练数据极度有限时，深度学习模型能否在仅基于2D断裂轮廓的情况下实现高准确率的陶器类型分类？
• RQ2 如何训练模型以在严重类别不平衡条件下，仍能保持对稀有或代表性不足陶器类别的性能？
• RQ3 合成数据生成与领域自适应技术在多大程度上能弥合模拟数据与真实考古图像之间的现实差距？
• RQ4 统一的深度学习流程能否有效结合形状与装饰特征，从而在野外条件下提升识别准确率？
• RQ5 该模型在数据质量与标注一致性各异的多样化考古数据集上表现如何？

主要发现

• OutlineNet模型在真实世界TSI测试集上达到73.7%的top-1准确率，top-10准确率达到81.3%，展现出强大的泛化能力。
• 在TSH数据集上，模型实现78.6%的top-1准确率与68.1%的top-10准确率，表明其对新、未见数据集具有强鲁棒性。
• 在TSSG数据集上，尽管性能较低（top-1准确率为57.7%），结果仍保持稳定一致，表明问题更可能源于标注质量而非模型失效。
• 装饰分类器在移动设备上实现55.2%的top-1准确率，在桌面端为51.0%，在不同光照条件下无显著性能下降。
• CareLoss重加权技术显著提升了稀有类别分类性能，降低了模型对主导类别的偏差风险。
• 该系统已成功部署于野外环境，作为移动应用程序运行，源代码与模型计划公开发布。