[论文解读] Jigsaw Puzzle Solving Using Local Feature Co-Occurrences in Deep Neural Networks

Marie-Morgane Paumard, David Picard+1 more|arXiv (Cornell University)|Jul 5, 2018

Image Processing and 3D Reconstruction参考文献 19被引用 25

一句话总结

该论文提出了一种基于Kronecker积特征组合的深度学习方法，通过利用局部特征共现性来解决拼图问题，在先前工作的基础上实现了25%的性能提升。该研究引入了一个来自大都会艺术博物馆的新数据集，并设计了一种贪心重建算法，该算法在28.8%的情况下能正确完成拼图，平均碎片准确率达到68.8%。

ABSTRACT

Archaeologists are in dire need of automated object reconstruction methods. Fragments reassembly is close to puzzle problems, which may be solved by computer vision algorithms. As they are often beaten on most image related tasks by deep learning algorithms, we study a classification method that can solve jigsaw puzzles. In this paper, we focus on classifying the relative position: given a couple of fragments, we compute their local relation (e.g. on top). We propose several enhancements over the state of the art in this domain, which is outperformed by our method by 25\\%. We propose an original dataset composed of pictures from the Metropolitan Museum of Art. We propose a greedy reconstruction method based on the predicted relative positions.

研究动机与目标

• 开发一种鲁棒的深度学习方法，用于在拼图求解中分类碎片的相对位置，尤其适用于文化遗产应用。
• 通过建模相邻碎片之间的局部特征共现性，改进现有方法，而这些特征在先前工作中被忽略。
• 解决在现实考古背景下碎片重组的挑战，其中碎片常因退化、缺失或混入无关碎片而难以处理。
• 创建一个来自大都会艺术博物馆的新、具有文化相关性的数据集，以更好地反映现实世界的重组任务。
• 设计并评估一种贪心重建算法，该算法利用成对的位置预测来组装完整拼图。

提出的方法

• 一种简化版的CNN架构，受VGG启发，包含3×3卷积层、批量归一化、ReLU激活函数和最大池化层，用于从96×96像素的碎片中提取特征。
• 一种新颖的特征组合策略，利用Kronecker积来建模两个碎片局部区域之间的相关性，优于简单的拼接方法。
• 一个分类头，用于预测一个碎片相对于另一个碎片的相对位置（例如，上方、右侧），在从大图像中提取的碎片对上进行训练。
• 一种贪心重建算法，基于预测的相对位置迭代放置碎片，从中心碎片开始并向外扩展。
• 一种包含在ImageNet上预训练，随后在MET数据集上微调的训练流程，以及在MET数据集上从零开始训练的流程。
• 一种数据增强策略，通过在碎片位置上随机±7像素的偏移，以提高训练过程中的鲁棒性。

实验结果

研究问题

• RQ1 与标准的特征拼接方法相比，建模相邻碎片之间的局部特征共现性是否能提高拼图求解的准确性？
• RQ2 在相同任务上，参数更少的简化CNN架构是否优于先前工作中使用的更复杂架构？
• RQ3 在像MET收藏这样具有文化相关性的数据集上，对在ImageNet上预训练的模型进行微调，能在多大程度上提升性能？
• RQ4 当依赖于成对的相对位置预测时，贪心重建算法在组装完整拼图方面的有效性如何？
• RQ5 基于Kronecker积的特征组合策略在涉及退化或不规则形状碎片的真实世界碎片重组任务中是否具有泛化能力？

主要发现

• 所提方法在ImageNet拼图基准上的验证准确率达到65%，相比之前最先进方法提升了25%。
• 在ImageNet上，基于Kronecker积的特征组合比拼接方法高出6.2个百分点；在MET数据集上高出5.2个百分点。
• 在ImageNet上预训练后，再在MET数据集上微调的模型，使用Kronecker层时达到64.9%的准确率，优于在MET数据集上从零开始训练的模型（准确率为47.9%）。
• 贪心重建算法在28.8%的情况下能完美解决9片拼图，平均每张图像有68.8%的碎片被正确放置。
• 定性结果表明，误分类的碎片在视觉上具有合理性，说明模型学习到了有意义的空间关系。
• 该方法在文化遗产图像上的泛化能力良好，这一点通过新推出的MET数据集以及真实艺术碎片的重建示例得到验证。