[论文解读] Image denoising and restoration with CNN-LSTM Encoder Decoder with Direct Attention

Kazi Nazmul Haque, Mohammad Abu Yousuf+1 more|arXiv (Cornell University)|Jan 16, 2018

Image and Signal Denoising Methods参考文献 19被引用 14

一句话总结

本文提出了一种结合直接注意力机制的CNN-LSTM编码器-解码器模型，用于图像去噪与修复，通过卷积神经网络提取特征，利用LSTM对缺失图像区域进行基于序列的重建。该模型在严重损坏的MNIST数字图像上进行训练，通过注意力机制与RMSE损失函数优化，有效恢复了丢失的形状并减少了噪声，实现了更平滑、更准确的重建效果，优于标准的CNN自编码器。

ABSTRACT

Image denoising is always a challenging task in the field of computer vision and image processing. In this paper, we have proposed an encoder-decoder model with direct attention, which is capable of denoising and reconstruct highly corrupted images. Our model consists of an encoder and a decoder, where the encoder is a convolutional neural network and decoder is a multilayer Long Short-Term memory network. In the proposed model, the encoder reads an image and catches the abstraction of that image in a vector, where decoder takes that vector as well as the corrupted image to reconstruct a clean image. We have trained our model on MNIST handwritten digit database after making lower half of every image as black as well as adding noise top of that. After a massive destruction of the images where it is hard for a human to understand the content of those images, our model can retrieve that image with minimal error. Our proposed model has been compared with convolutional encoder-decoder, where our model has performed better at generating missing part of the images than convolutional autoencoder.

研究动机与目标

• 为解决卷积自编码器在重建图像中大面积缺失区域时的局限性。
• 利用LSTM的记忆能力与序列建模特性，在图像显著缺失时实现图像修复。
• 结合基于CNN的特征提取与基于LSTM的序列生成，提升图像去噪与补全效果。
• 评估直接注意力机制在重建过程中是否能有效使解码器同时访问编码表示与原始损坏图像。
• 在人类感知难以识别原始内容的严重损坏MNIST数字上，展示模型的优越性能。

提出的方法

• 编码器为卷积神经网络，将损坏的输入图像压缩为固定大小的思维向量。
• 解码器为多层长短期记忆（LSTM）网络，逐行处理思维向量与损坏图像，同时利用编码表示与原始输入进行重建。
• 直接注意力通过在每个时间步将编码向量与损坏图像拼接实现，使LSTM能够同时关注全局上下文与局部像素级信息。
• 模型将思维向量与损坏图像联合作为解码器输入，即使编码器未能完整捕捉结构信息，也能恢复缺失内容。
• 训练采用RMSProp优化器，初始学习率为0.001，Dropout率为25%，并使用均方根误差（RMSE）损失函数以最小化像素级重建误差。
• 模型在经过修改的MNIST数据集上进行训练，其中每个数字的下半部分被涂黑并添加噪声，以模拟严重的图像退化。

实验结果

研究问题

• RQ1 结合CNN与LSTM的编码器-解码器架构是否能在重建大范围缺失区域的图像时，优于标准的卷积自编码器？
• RQ2 集成直接注意力机制，使解码器能够同时访问编码表示与原始损坏图像，是否能提升重建质量？
• RQ3 当输入图像严重损坏且模糊时，基于LSTM的解码器在多大程度上能生成合理的缺失图像区域？
• RQ4 与其它损失函数相比，使用RMSE损失如何影响重建图像的平滑性与准确性？
• RQ5 在严重损坏后，该模型是否比纯卷积模型更有效地恢复手写数字的结构细节？

主要发现

• CNN-LSTM模型在重建严重损坏MNIST数字的缺失部分方面表现更优，而CNN-CNN自编码器则未能恢复正确形状。
• 即使数字的下半部分被涂黑并添加噪声，该模型仍能以极低误差成功恢复图像，在视觉质量与结构准确性方面优于基线卷积模型。
• CNN-LSTM模型的损失曲线在50万次迭代中持续下降，表明学习过程稳定且有效，而CNN-CNN模型的损失在早期即趋于平稳。
• 由于RMSE损失鼓励像素值接近真实值，CNN-LSTM模型生成的重建图像比原始图像更平滑、更准确，从而在不同笔画宽度上表现出更好的泛化能力。
• 该模型训练耗时6小时58分钟，而CNN-CNN模型仅需4小时19分钟，表明在重建质量与训练时间之间存在权衡。
• 图7中的视觉对比结果证实，CNN-LSTM模型生成的数字更清晰、更连贯，边缘保留更好，形状一致性更优，优于CNN-CNN模型。