[论文解读] Large-Scale Historical Watermark Recognition: dataset and a new consistency-based approach

Xi Shen, Ilaria Pastrolin+5 more|arXiv (Cornell University)|Aug 27, 2019

Handwritten Text Recognition Techniques参考文献 55被引用 4

一句话总结

本文引入了一个大规模公开数据集，包含超过6,000张历史水印照片，涵盖16,753个细粒度类别，支持大规模零样本和跨域识别。提出了一种基于一致性的深度学习方法，通过利用空间一致性过滤局部特征匹配，提升了匹配准确率，在使用Briquet目录中手绘图的16,753类挑战性零样本跨域识别任务中实现了55%的top-1准确率。

ABSTRACT

Historical watermark recognition is a highly practical, yet unsolved challenge for archivists and historians. With a large number of well-defined classes, cluttered and noisy samples, different types of representations, both subtle differences between classes and high intra-class variation, historical watermarks are also challenging for pattern recognition. In this paper, overcoming the difficulty of data collection, we present a large public dataset with more than 6k new photographs, allowing for the first time to tackle at scale the scenarios of practical interest for scholars: one-shot instance recognition and cross-domain one-shot instance recognition amongst more than 16k fine-grained classes. We demonstrate that this new dataset is large enough to train modern deep learning approaches, and show that standard methods can be improved considerably by using mid-level deep features. More precisely, we design both a matching score and a feature fine-tuning strategy based on filtering local matches using spatial consistency. This consistency-based approach provides important performance boost compared to strong baselines. Our model achieves 55% top-1 accuracy on our very challenging 16,753-class one-shot cross-domain recognition task, each class described by a single drawing from the classic Briquet catalog. In addition to watermark classification, we show our approach provides promising results on fine-grained sketch-based image retrieval.

研究动机与目标

• 解决细粒度历史水印识别领域缺乏大规模、精心整理、公开可用数据集的问题。
• 实现历史文献中文本水印的大规模零样本与跨域识别。
• 克服由类内高变异性、类间细微差异以及多样化表现形式（手绘图、照片、合成图）带来的挑战。
• 通过显式建模局部特征匹配中的空间一致性，提升深度学习在水印识别任务中的性能。
• 展示自动化水印识别在历史学家与档案管理员中的可行性与实际应用价值。

提出的方法

• 该方法利用卷积神经网络提取的中级深度特征，实现在多样化表现形式之间的细粒度匹配。
• 提出一种基于空间一致性的匹配评分，通过验证特征对应关系之间的几何一致性，过滤不可靠的局部匹配。
• 该方法包含一种特征微调策略，在训练过程中利用空间一致的匹配结果优化特征，以增强判别能力。
• 该方法在推理和训练阶段均被应用，提升了对杂乱背景、噪声和外观变化的鲁棒性。
• 该框架支持零样本实例识别与跨域识别，每个类别仅需一个参考手绘图。
• 系统利用从公共公证档案和Briquet目录中收集的新数据集进行方法的训练与评估。

实验结果

研究问题

• RQ1 一个大规模、公开的、细粒度的历史水印数据集是否能有效支持零样本与跨域识别？
• RQ2 在水印识别任务中，显式建模局部特征匹配的空间一致性是否能超越全局深度学习基线方法的性能？
• RQ3 所提出的方法如何应对水印中类内高变异性与类间细微差异的挑战？
• RQ4 当通过空间一致性对中级深度特征进行优化后，其在该细粒度识别任务中是否能显著优于标准CNN方法？
• RQ5 系统的失败模式主要是什么？它们与图像质量及水印可见性有何关联？

主要发现

• 所提出的基于一致性的方法在16,753类的零样本跨域识别任务中实现了55%的top-1准确率，显著优于强基线的全局深度学习方法。
• 在将正确水印排在高度相似类别中的表现上，该方法展现出更优的性能，尤其当基线方法对多个候选对象分配相似分数时。
• 视觉分析表明，所提出的匹配评分仅对可靠匹配且具有判别性的区域赋予高贡献度，同时抑制无关或噪声区域。
• 特征微调通过增强准确且具有判别性的局部特征的贡献度，提升了正确匹配的排序质量。
• 失败案例主要由强烈光照、污渍、撕裂或水印可见度低引起，表明通过针对性的数据增强可进一步改进性能。
• 该方法在细粒度草图图像检索任务中也取得了有前景的结果，表明其在水印识别之外具有更广泛的应用潜力。