[论文解读] Blind Image Denoising and Inpainting Using Robust Hadamard Autoencoders

Rasika Karkare, Randy Paffenroth+1 more|arXiv (Cornell University)|Jan 26, 2021

Image and Signal Denoising Methods参考文献 20被引用 8

一句话总结

本文提出了一种新型深度学习框架——鲁棒哈达玛自编码器（RHA），可在无需干净训练数据的情况下，同时实现盲图像去噪与图像修复。通过将鲁棒深度自编码器扩展至处理部分观测数据，采用基于邻近梯度的非线性端到端优化方法，并引入ℓ₁-范数惩罚项，RHA在噪声和缺失数据条件下于MNIST与CIFAR10数据集上均实现了最先进性能，其重建保真度与对相干性损坏的鲁棒性均优于先前方法。

ABSTRACT

In this paper, we demonstrate how deep autoencoders can be generalized to the case of inpainting and denoising, even when no clean training data is available. In particular, we show how neural networks can be trained to perform all of these tasks simultaneously. While, deep autoencoders implemented by way of neural networks have demonstrated potential for denoising and anomaly detection, standard autoencoders have the drawback that they require access to clean data for training. However, recent work in Robust Deep Autoencoders (RDAEs) shows how autoencoders can be trained to eliminate outliers and noise in a dataset without access to any clean training data. Inspired by this work, we extend RDAEs to the case where data are not only noisy and have outliers, but also only partially observed. Moreover, the dataset we train the neural network on has the properties that all entries have noise, some entries are corrupted by large mistakes, and many entries are not even known. Given such an algorithm, many standard tasks, such as denoising, image inpainting, and unobserved entry imputation can all be accomplished simultaneously within the same framework. Herein we demonstrate these techniques on standard machine learning tasks, such as image inpainting and denoising for the MNIST and CIFAR10 datasets. However, these approaches are not only applicable to image processing problems, but also have wide ranging impacts on datasets arising from real-world problems, such as manufacturing and network processing, where noisy, partially observed data naturally arise.

研究动机与目标

• 解决标准自编码器在去噪与修复任务中依赖干净训练数据的局限性。
• 将鲁棒深度自编码器（RDAE）扩展至处理部分观测数据，如像素块缺失的情况。
• 开发一种可测试的端到端框架，无需清洁数据先验知识，即可推断并去除噪声、填补缺失区域。
• 在单一非线性自编码器架构中实现去噪、图像修复与低秩/稀疏分解的同步处理。
• 在真实世界数据场景中，验证模型对随机噪声与相干性损坏（如图像块缺失）的鲁棒性。

提出的方法

• 模型采用非线性自编码器架构，对输入数据进行低秩与稀疏成分分解，其中低秩成分代表干净图像，稀疏成分捕捉噪声与缺失数据。
• 采用基于邻近梯度的优化方案，结合反向传播与ℓ₁-范数正则化，以分离噪声与缺失数据与底层干净信号。
• 损失函数包含由λ控制的惩罚项，用于平衡低秩与稀疏成分，防止对噪声过拟合或对干净数据欠拟合。
• 网络仅在受损数据上进行训练，完全不访问真实干净图像，从而实现真正的盲推理。
• 在训练前，缺失像素初始化为均值，模型基于周围上下文学习重建这些区域。
• 通过深度神经网络将鲁棒PCA推广至非线性表示，实现超越线性投影的优越特征学习能力。

实验结果

研究问题

• RQ1 能否在无干净训练数据访问的情况下，训练深度自编码器实现图像去噪与修复？
• RQ2 该模型是否能在单一统一框架中有效处理随机噪声与相干性损坏（如图像块缺失）？
• RQ3 所提出的RHA模型在盲去噪与修复任务中，相较于RDAE及其他最先进方法的性能如何？
• RQ4 正则化参数λ对低秩与稀疏重建质量有何影响？
• RQ5 该模型能否泛化至训练过程中未使用的未见数据，实现在新受损输入上的真正推理？

主要发现

• 在MNIST与CIFAR10数据集上，RHA在随机噪声与图像块缺失条件下均实现了更优的重建质量，优于RDAE与CE模型。
• 在CIFAR10上，即使存在10×10的缺失块或椒盐噪声，RHA仍能成功重建清晰图像，而CE模型无法恢复有意义的结构。
• 最优性能在中等λ值（如50）下实现，此时噪声被有效分离至稀疏成分，而干净的低秩结构得以保留。
• 模型对缺失像素的初始化值（如均值、零值、随机值）具有鲁棒性，表明训练过程稳定。
• RHA框架在真实世界数据中缺失或损坏条目场景（如工业制造与网络处理）中成功实现泛化，适用于无干净数据的场景。
• 该方法通过单一非线性自编码器实现去噪、图像修复与异常检测的同步处理，拓展了经典RPCA的能力。