[论文解读] BiNet: Degraded-Manuscript Binarization in Diverse Document Textures and Layouts using Deep Encoder-Decoder Networks

Maruf A. Dhali, Jan Willem de Wit+1 more|arXiv (Cornell University)|Nov 13, 2019

Handwritten Text Recognition Techniques参考文献 64被引用 10

一句话总结

本文提出 BiNet，一种基于多光谱图像融合与迁移学习的深度编码器-解码器 U-Net 变体，用于对严重退化的历史手稿（尤其是死海古卷）进行二值化处理。该方法在 DSS 和 H-DIBCO 数据集上均实现了最先进性能，能够准确分离出复杂、低对比度背景中的墨水痕迹，同时在不进行重建或平滑处理的情况下完整保留原始文字细节。

ABSTRACT

Handwritten document-image binarization is a semantic segmentation process to differentiate ink pixels from background pixels. It is one of the essential steps towards character recognition, writer identification, and script-style evolution analysis. The binarization task itself is challenging due to the vast diversity of writing styles, inks, and paper materials. It is even more difficult for historical manuscripts due to the aging and degradation of the documents over time. One of such manuscripts is the Dead Sea Scrolls (DSS) image collection, which poses extreme challenges for the existing binarization techniques. This article proposes a new binarization technique for the DSS images using the deep encoder-decoder networks. Although the artificial neural network proposed here is primarily designed to binarize the DSS images, it can be trained on different manuscript collections as well. Additionally, the use of transfer learning makes the network already utilizable for a wide range of handwritten documents, making it a unique multi-purpose tool for binarization. Qualitative results and several quantitative comparisons using both historical manuscripts and datasets from handwritten document image binarization competition (H-DIBCO and DIBCO) exhibit the robustness and the effectiveness of the system. The best performing network architecture proposed here is a variant of the U-Net encoder-decoders.

研究动机与目标

• 解决在极端墨水-背景对比度变化与复杂纹理背景下对高度退化历史手稿进行二值化的挑战。
• 开发一种稳健、多功能的二值化工具，可广泛应用于死海古卷以外的各类手稿收藏。
• 在不进行重建或平滑处理的前提下，完整保留原始墨水痕迹细节，确保与原作者书写风格的高度一致。
• 通过精确的二值化处理，为后续任务（如作者识别与书写风格演变分析）提供有效支持。
• 利用迁移学习与图像融合技术，提升在低资源、高复杂度手稿数据集上的性能表现。

提出的方法

• 训练基于 U-Net 的编码器-解码器卷积神经网络，以预测分离墨水与背景像素的二值掩码。
• 对多光谱波段（包括 924nm 红外波段）应用图像融合，生成伪彩色图像，以增强对比度并揭示隐藏墨水。
• 由领域专家手动进行真实标签标注，确保准确性，采用保守标注策略，避免自动填充字符或平滑处理。
• 采用迁移学习技术，使模型能以最少的微调适应不同手稿收藏。
• 在小块图像（256×256）上进行训练，以控制计算负载，同时使用重叠块缓解边界伪影。
• 采用端到端训练方式，使用二元交叉熵损失函数，优化像素级的墨水与背景分割性能。

实验结果

研究问题

• RQ1 深度编码器-解码器网络是否能有效对严重退化、低对比度且纹理复杂的古籍手稿进行二值化？
• RQ2 多光谱图像融合在死海古卷等退化手稿的二值化处理中，如何提升性能表现？
• RQ3 迁移学习在多大程度上可使单一模型泛化应用于多样化的手稿收藏？
• RQ4 与传统二值化方法（如 Otsu 或 Sauvola）相比，所提方法是否能更好地保留原始墨水细节？
• RQ5 网络是否能将非墨水元素（如边框、校准标记）识别为背景，同时保留微弱或断裂的字符？

主要发现

• BiNet 在定性和定量评估中均优于传统方法（如 Otsu 和 Sauvola），尤其在低对比度与碎片化 DSS 图像上表现更优。
• 利用多光谱波段（包括 924nm 红外）融合生成的图像，其二值化结果甚至在某些情况下提取出比真实标签本身更多的原始内容。
• 该模型在 H-DIBCO 与 DIBCO 数据集上均表现出高精度，证明其在死海古卷之外的泛化能力与鲁棒性。
• BiNet 有效去除了图片边框与机器打印校准标记等非必要元素，同时完整保留了微弱与断裂的墨水笔画。
• 保守标注策略确保了输出结果清晰准确，真实反映实际墨水沉积情况，避免了人工平滑或重建。
• 通过迁移学习，模型性能得到显著提升，使其能以有限标注数据有效适应新的手稿收藏。