[论文解读] Forensic shoe-print identification: a brief survey

Imad Rida, Fei, Lunke+3 more|arXiv (Cornell University)|Jan 5, 2019

Gait Recognition and Analysis参考文献 73被引用 14

一句话总结

本综述全面概述了自动法医鞋印识别技术，回顾了整体特征与局部特征方法、评估基准以及噪声、遮挡和训练数据有限等挑战。它强调了从手工设计特征向学习特征（尤其是深度学习）的转变，并呼吁建立大规模、标准化的公开数据集，以推动该领域超越合成评估的发展。

ABSTRACT

As an advanced research topic in forensics science, automatic shoe-print identification has been extensively studied in the last two decades, since shoe marks are the clues most frequently left in a crime scene. Hence, these impressions provide a pertinent evidence for the proper progress of investigations in order to identify the potential criminals. The main goal of this survey is to provide a cohesive overview of the research carried out in forensic shoe-print identification and its basic background. Apart defining the problem and describing the phases that typically compose the processing chain of shoe-print identification, we provide a summary/comparison of the state-of-the-art approaches, in order to guide the neophyte and help to advance the research topic. This is done through introducing simple and basic taxonomies as well as summaries of the state-of-the-art performance. Lastly, we discuss the current open problems and challenges in this research topic, point out for promising directions in this field.

研究动机与目标

• 为研究人员和初学者提供自动法医鞋印识别研究的连贯且最新的整体概述。
• 对最先进技术进行分类与比较，区分整体特征与局部特征方法。
• 识别关键挑战，如由噪声、遮挡、旋转和尺度失真引起的类内差异。
• 倡导开发大规模、公开可用的数据集，并制定标准化评估协议，以提升基准测试水平和模型泛化能力。
• 通过提出有前景的研究方向，特别是采用深度学习和迁移学习实现鲁棒特征学习，为未来研究提供指导。

提出的方法

• 将现有方法分类为整体特征（全局图像处理）和局部特征（关键点基础）技术，用于特征提取。
• 回顾基于傅里叶特征（如功率谱密度）、相位相关性（MPOC）和分形分解的整体方法，用于图像重建与匹配。
• 分析基于SIFT、SURF和HOG的局部特征方法，这些方法可检测并描述鞋印中的显著区域，实现鲁棒匹配。
• 使用标准指标（如mAP和top-k准确率）评估性能，涵盖真实和合成数据集，包括对旋转、尺度、噪声和遮挡等变化的比较。
• 讨论深度学习方法，特别是卷积神经网络（CNNs）以及迁移学习，作为应对真实世界数据有限的解决方案。
• 提出三阶段处理流程：预处理（增强与失真去除）、特征提取（手工设计或学习得到）以及使用训练模型或相似性函数进行分类/匹配。

实验结果

研究问题

• RQ1 自动鞋印识别中使用的特征提取技术主要有哪些类别，它们在性能和鲁棒性方面有何差异？
• RQ2 手工特征与学习特征（如深度特征）在处理真实世界变化（如噪声、遮挡和尺度变化）方面表现如何比较？
• RQ3 当前评估协议的关键局限性是什么？为何公开、标准化的数据集对本领域进展至关重要？
• RQ4 在训练数据稀缺的情况下，迁移学习和深度学习模型能在多大程度上提升识别准确率？
• RQ5 法医鞋印识别中最重要的开放性挑战是什么？哪些研究方向最有可能推动未来的发展？

主要发现

• 手工特征（如PSD、MPOC、SIFT和HOG）在受控环境下表现优异，特定条件下top-1准确率可达99.47%。
• 本综述中表现最佳的方法（Alizadeh和Kose，2017）在包含190类别的数据集上，于存在噪声、旋转和遮挡条件下实现了99.47%的top-1准确率。
• 尽管在合成或受控数据上表现优异，大多数现有方法在真实世界条件下因类内差异过大而失效。
• 深度学习模型（尤其是CNNs）相比手工特征展现出更高的泛化潜力，但需要大规模数据集以实现可靠训练。
• 当前基准测试受限于数据集规模小、缺乏标准化，以及过度依赖合成或不现实的图像，这阻碍了公平比较和真实世界适用性。
• 缺乏大规模、公开且标准化的数据集被确定为阻碍进展的主要障碍，强烈呼吁建立新的基准以实现一致的评估和模型开发。