[论文解读] A Simplified Un-Supervised Learning Based Approach for Ink Mismatch Detection in Handwritten Hyper-Spectral Document Images

Muhammad Farhan Humayun, Hassan Waseem Malik+1 more|arXiv (Cornell University)|Jun 11, 2022

Currency Recognition and Detection被引用 4

一句话总结

本文提出了一种简化的无监督学习方法，通过从手写高光谱文档图像（HSDIs）的文本像素中提取光谱特征，并在其上应用K-me均值聚类，以检测视觉上相似油墨的数量。该方法在无需标注数据或油墨类型先验知识的情况下，实现了与最先进技术相当的结果，仅需极少预处理，即可在iVision HHID数据集中识别出五个主要油墨簇。

ABSTRACT

Hyper-spectral imaging has become the latest trend in the field of optical imaging systems. Among various other applications, hyper-spectral imaging has been widely used for analysis of printed and handwritten documents. This paper proposes an efficient technique for estimating the number of different but visibly similar inks present in a Hyper spectral Document Image. Our approach is based on un-supervised learning and does not require any prior knowledge of the dataset. The algorithm was tested on the iVision HHID dataset and has achieved comparable results with the state of the algorithms present in the literature. This work can prove to be effective when employed during the early stages of forgery detection in Hyper-spectral Document Images.

研究动机与目标

• 开发一种自动化、无监督的方法，用于估计手写高光谱文档图像中不同油墨的数量。
• 消除法医文档分析中对标注训练数据或油墨类型先验知识的需求。
• 通过识别油墨成分中的光谱不一致性，实现在早期阶段的伪造检测。
• 评估K均值聚类在从HSDI像素中提取的光谱特征上的有效性。
• 在准确性和实用性方面，与现有监督方法对比评估所提方法的性能。

提出的方法

• 通过裁剪以隔离文本区域，并对前景文本像素应用二值阈值处理，对高光谱立方体进行预处理。
• 通过计算每个文本行在149个光谱波段上的平均强度值，生成光谱特征。
• 使用布尔掩码隔离文本像素并抑制背景，以实现对光谱响应的精确分析。
• 在掩码后的光谱数据上应用K均值聚类，K=7，以识别不同的油墨簇，包括一个背景簇和一个平印线条簇。
• 从K均值聚类输出生成彩色分段的RGB图像，以可视化油墨分组情况。
• 选择Python语言，配合Spectral、NumPy、OpenCV和Matplotlib库进行实现，因其对光谱图像处理具有强大支持。

实验结果

研究问题

• RQ1 无监督学习方法是否能在无需标注数据的情况下，准确估计手写HSDIs中视觉上相似油墨的数量？
• RQ2 K均值聚类在识别对应于不同油墨类型的高光谱文档图像中不同光谱簇方面的有效性如何？
• RQ3 所提方法在油墨不匹配检测方面，与现有监督方法相比，性能优势或匹配程度如何？
• RQ4 非文本特征（如平印线条）在聚类输出中引入的局限性有多大？
• RQ5 仅依靠光谱响应分析，能否为法医文档分析中的油墨簇估计提供可靠依据？

主要发现

• 所提方法成功在iVision HHID数据集中通过无监督K均值聚类对光谱特征进行分析，识别出五个主要油墨簇。
• 当K=7时，K均值聚类在84次迭代后收敛，生成七个光谱类别，其中包括一个背景类别和一个平印线条类别。
• 对光谱响应曲线的视觉分析证实了五个不同油墨类型的共存，与K均值输出的聚类结果一致。
• 尽管未使用任何标注训练数据，该方法在性能上与最先进监督算法相当。
• 该算法识别出五个主要油墨簇，而真实标签包含六个油墨类型，表明由于光谱相似性导致轻微低估。
• 数据中包含平印线条引入了一个额外的、虚假的聚类，后被识别为聚类输出中的噪声源。