[论文解读] Learning Document Image Binarization from Data

Yue Wu, Stephen Rawls+2 more|arXiv (Cornell University)|May 4, 2015

Handwritten Text Recognition Techniques参考文献 14被引用 8

一句话总结

本文提出了一种完全可训练、无需参数调整的监督学习方法，用于文档图像二值化。该方法利用高维特征空间，结合传统、重构及新型特征——对数强度百分位数（LIP）与相对暗度指数（RDI）——以学习复杂的决策函数。仅使用1.5%的标注数据进行训练，该方法在DIBCO基准测试中达到最先进性能，并在分布外图像上表现出良好的泛化能力。

ABSTRACT

In this paper we present a fully trainable binarization solution for degraded document images. Unlike previous attempts that often used simple features with a series of pre- and post-processing, our solution encodes all heuristics about whether or not a pixel is foreground text into a high-dimensional feature vector and learns a more complicated decision function. In particular, we prepare features of three types: 1) existing features for binarization such as intensity [1], contrast [2], [3], and Laplacian [4], [5]; 2) reformulated features from existing binarization decision functions such those in [6] and [7]; and 3) our newly developed features, namely the Logarithm Intensity Percentile (LIP) and the Relative Darkness Index (RDI). Our initial experimental results show that using only selected samples (about 1.5% of all available training data), we can achieve a binarization performance comparable to those fine-tuned (typically by hand), state-of-the-art methods. Additionally, the trained document binarization classifier shows good generalization capabilities on out-of-domain data.

研究动机与目标

• 开发一种无需参数调整、完全可训练的二值化解决方案，以克服启发式阈值方法的局限性。
• 提升在存在墨水渗透、褪色和光照不均等挑战的退化文档图像上的鲁棒性。
• 实现在无需重新调优或手动调整参数的情况下，对分布外数据的泛化能力。
• 证明使用极少标注数据的监督学习可超越或匹配手工设计并精细调优的方法。
• 引入新型特征（LIP与RDI），以编码高层次文档特征，实现更优的区分能力。

提出的方法

• 该方法为每个像素构建一个高维特征向量，结合三类特征：标准特征（强度、对比度、拉普拉斯算子）、来自现有二值化函数的重构特征，以及新引入的特征（LIP与RDI）。
• LIP通过取对数百分位数统计量来捕捉强度分布，而RDI则量化局部区域内的相对暗度，以区分文字与背景。
• 使用10折交叉验证，基于总像素中1.5%的标注子集训练随机森林分类器，以优化超参数。
• 最终模型在所有可用训练样本上重新训练，并用于预测测试图像中所有像素的二值标签。
• 通过特征重要性分析识别主要贡献者：RDI、全局强度直方图和LIP在整体贡献中占主导地位；RDI、LTSI和Su在维度贡献中领先。
• 推理时间因图像大小而异，每幅图像耗时5至30秒，源于逐像素分类。

实验结果

研究问题

• RQ1 监督学习方法是否能在无需手动调参的情况下，实现与精细调优的最先进启发式方法相当的二值化性能？
• RQ2 在仅使用1.5%标注数据（极小比例）进行训练的情况下，模型是否能有效泛化到未见过的、分布外的文档图像？
• RQ3 如LIP与RDI等新型特征是否显著提升了在退化文档上的二值化性能？
• RQ4 所学习的分类器在多种真实世界文档退化类型下的性能表现如何？
• RQ5 不同特征类型对最终二值化准确率与鲁棒性的贡献程度如何？

主要发现

• 该方法在DIBCO 2012上取得92.01%的F1分数，在DIBCO 2013上为91.40%，在DIBCO 2014上为92.69%，与顶级竞赛提交结果持平或超越。
• 所有数据集上的DRD分数均低于3像素，其中DIBCO 2014的最低DRD为0.902，表明文本边界定位具有高精度。
• 仅使用1,920个训练样本（占总数的1.5%）时，F1分数达到91.47%，且在样本数超过17,280后性能趋于平稳，表明数据量增加带来的收益递减。
• 模型在分布外数据上表现出良好泛化能力，成功对训练中未见的褪色文字和污渍背景图像进行了二值化处理。
• 特征重要性分析显示，RDI、全局强度直方图和LIP是整体上最具影响力的特征类型；而按维度贡献，RDI、LTSI和Su位居前列。
• 该方法在DIBCO 2012、DIBCO 2013和DIBCO 2014上的PSNR值分别为19.92 dB、20.13 dB和19.47 dB，表明其结构与真实标签高度相似。