[论文解读] Enhance to Read Better: A Multi-Task Adversarial Network for Handwritten Document Image Enhancement

Sana Khamekhem Jemni, Mohamed Ali Souibgui+2 more|arXiv (Cornell University)|May 26, 2021

Handwritten Text Recognition Techniques参考文献 32被引用 5

一句话总结

本文提出了一种多任务对抗性网络，通过联合优化视觉质量和文本可读性，利用连接的HTR模型增强退化手写文档图像。通过将基于CRNN的识别器集成到GAN框架中，该方法在H-DIBCO基准上实现了最先进性能，通过使用真实文本监督的端到端训练，显著提升了二值化质量和识别准确率（CER/WER）。

ABSTRACT

Handwritten document images can be highly affected by degradation for different reasons: Paper ageing, daily-life scenarios (wrinkles, dust, etc.), bad scanning process and so on. These artifacts raise many readability issues for current Handwritten Text Recognition (HTR) algorithms and severely devalue their efficiency. In this paper, we propose an end to end architecture based on Generative Adversarial Networks (GANs) to recover the degraded documents into a clean and readable form. Unlike the most well-known document binarization methods, which try to improve the visual quality of the degraded document, the proposed architecture integrates a handwritten text recognizer that promotes the generated document image to be more readable. To the best of our knowledge, this is the first work to use the text information while binarizing handwritten documents. Extensive experiments conducted on degraded Arabic and Latin handwritten documents demonstrate the usefulness of integrating the recognizer within the GAN architecture, which improves both the visual quality and the readability of the degraded document images. Moreover, we outperform the state of the art in H-DIBCO challenges, after fine tuning our pre-trained model with synthetically degraded Latin handwritten images, on this task.

研究动机与目标

• 解决现有文档增强方法仅优化与真实图像的视觉相似性而未评估可读性的局限性。
• 提升在高度退化场景（如老化、起皱或带有噪声和污渍的扫描文档）下手写文档二值化的鲁棒性。
• 将手写文本识别器（HTR）集成到GAN训练过程中，确保增强后的图像不仅视觉清晰，而且语义可读。
• 证明在GAN优化过程中逐步训练识别器可带来更好的识别性能（更低的CER和WER）。
• 在真实世界退化文档数据集（特别是H-DIBCO 2018）上验证方法的有效性，并展示其优于现有最先进方法的性能。

提出的方法

• 所提方法采用条件GAN架构，其中生成器以退化手写文档图像为输入，输出清晰可读的版本。
• 判别器被训练以区分真实干净文档图像与生成的图像，从而确保视觉合理性。
• 在训练流程中集成基于CRNN的HTR模型，以评估生成图像的可读性，损失通过连接时序分类（CTC）计算。
• 生成器通过结合对抗损失、像素级重建损失和基于CTC的识别损失进行多任务训练，以同时保留图像质量和文本语义。
• 模型首先在IAM（拉丁文）和KHATT（阿拉伯文）数据集的合成退化版本上进行预训练，然后在H-DIBCO 2016和2018上进行微调，以实现最优二值化性能。
• 采用HTR组件的渐进式训练，即在GAN训练过程中迭代更新识别器以生成器输出为输入，从而提升识别泛化能力。

实验结果

研究问题

• RQ1 将手写文本识别器集成到GAN训练循环中，是否能显著提升增强后手写文档图像的可读性，而不仅仅是视觉质量？
• RQ2 在GAN优化过程中对HTR组件进行渐进式训练，是否相比使用固定识别权重的端到端训练，能带来更好的识别性能（以CER和WER衡量）？
• RQ3 微调数据集的选择如何影响H-DIBCO 2016上的二值化性能？哪些数据集对迁移学习最有益？
• RQ4 所提方法是否能在H-DIBCO 2018等文档二值化基准上超越现有最先进方法，特别是在高度退化图像上？
• RQ5 即使在图像重建损失中未直接使用真实文本，是否仍可通过在图像生成过程中利用文本信息获得更优的增强效果？

主要发现

• 在使用H-DIBCO、DIBCO、Nabuco、Bickley-diary和Palm-Leaf数据集进行微调后，该方法在H-DIBCO 2016数据集上实现了21.85的PSNR，优于所有其他组合。
• 同时使用H-DIBCO和DIBCO数据集进行微调，PSNR达到21.85，表明结合多种退化类型可提升泛化能力。
• Palm-Leaf数据集的引入提升了性能，而加入Nabuco或Bickley-diary数据集则导致性能下降，表明存在领域不匹配问题。
• 该方法在H-DIBCO 2018基准上实现了最先进性能，证明其在高度退化拉丁文字文档上的二值化质量和可读性均更优。
• 在GAN优化过程中对HTR模型进行渐进式训练，显著降低了CER和WER，证实了迭代优化识别监督的益处。
• 定性结果表明，该模型能够恢复真实图像中不存在的缺失像素，生成更清晰可读的文本，如图15所示。