[论文解读] Deep End-to-end Fingerprint Denoising and Inpainting

Youness Mansar|arXiv (Cornell University)|Jul 31, 2018

Digital Media Forensic Detection参考文献 4被引用 4

一句话总结

本文提出了一种端到端的深度学习方法，采用类似U-Net的卷积神经网络对合成指纹图像进行去噪和修复，在Chalearn LAP In-painting Competition Track 3中取得了最先进性能。该方法利用数据增强、自适应学习率调度和跳跃连接，在MAE、PSNR和SSIM指标上均优于所有竞争对手。

ABSTRACT

This work describes our winning solution for the Chalearn LAP In-painting Competition Track 3 - Fingerprint Denoising and In-painting. The objective of this competition is to reduce noise, remove the background pattern and replace missing parts of fingerprint images in order to simplify the verification made by humans or third-party software. In this paper, we use a U-Net like CNN model that performs all those steps end-to-end after being trained on the competition data in a fully supervised way. This architecture and training procedure achieved the best results on all three metrics of the competition.

研究动机与目标

• 开发一种稳健的端到端深度学习模型，能够同时对退化指纹图像进行去噪和修复。
• 通过图像预处理降低错误接受率和错误拒绝率，从而提高指纹识别的准确性。
• 应对合成失真（如模糊、遮挡、噪声和背景图案）带来的挑战。
• 在完全监督学习设置下，评估跳跃连接和数据增强等网络结构组件的有效性。
• 展示基于CNN的方法在指纹修复任务中的泛化潜力，超越图像分割任务的适用范围。

提出的方法

• 采用类似U-Net的编码器-解码器卷积神经网络，通过跳跃连接保留空间细节并缓解梯度消失问题。
• 输入图像被归一化至[0,1]，并调整为可被16整除的尺寸（2^4），以适配最大池化层。
• 仅在训练阶段应用数据增强，包括随机翻转、剪切、平移、缩放、对比度/饱和度调整及旋转。
• 使用Adam优化器进行训练，初始学习率为1e-4，当验证损失在3个周期内不再下降时，学习率按因子0.5降低。
• 输出图像经过最小-最大归一化处理至[0,255]，并恢复至原始输入尺寸后提交。
• 损失函数基于平均绝对误差（MAE），在训练过程中作为PSNR和SSIM的强代理指标。

实验结果

研究问题

• RQ1 单一端到端深度学习模型是否能在无需任务特定预处理的情况下，有效同时处理指纹图像的去噪与修复？
• RQ2 跳跃连接和数据增强等网络结构组件在合成指纹图像修复任务中的表现有何影响？
• RQ3 自适应学习率调度在多大程度上提升了收敛速度与最终指标性能？
• RQ4 仅使用合成数据进行训练是否能泛化到真实世界指纹图像修复任务？
• RQ5 仅使用MAE损失是否能获得在PSNR和SSIM上的优异表现，表明其作为指纹图像质量代理损失的适用性？

主要发现

• 所提模型在测试集上所有三项竞赛指标中均取得最佳结果：MAE为0.0189，PSNR为17.6968，SSIM为0.8427。
• 消融实验表明，降低学习率对性能提升贡献最大，而数据增强的影响最小。
• 移除跳跃连接导致性能急剧下降，MAE升至0.7282，SSIM降至0.0001。
• 使用预训练的VGG编码器使结果略有改善，MAE降至0.0225，SSIM升至0.8142。
• 尽管损失函数仅使用MAE，模型在PSNR和SSIM上仍表现出良好泛化能力，表明MAE可作为有效的代理损失。
• 该模型在所有指标上均优于其他方法，包括使用空洞卷积（rgsl888）和M-Net架构（sukeshadigav）的方案。