[论文解读] Learning Invariant Representation for Unsupervised Image Restoration

Wenchao Du, Hu Chen+1 more|arXiv (Cornell University)|Mar 28, 2020

Advanced Image Processing Techniques参考文献 42被引用 8

一句话总结

本文提出了一种无监督图像复原方法，通过对抗性域适应和自监督约束，从无配对的噪声图像与干净图像中学习不变表示。该方法在合成噪声和真实世界噪声去除任务中均取得了最先进性能，且收敛速度更快、更稳定，优于现有域自适应方法。

ABSTRACT

Recently, cross domain transfer has been applied for unsupervised image restoration tasks. However, directly applying existing frameworks would lead to domain-shift problems in translated images due to lack of effective supervision. Instead, we propose an unsupervised learning method that explicitly learns invariant presentation from noisy data and reconstructs clear observations. To do so, we introduce discrete disentangling representation and adversarial domain adaption into general domain transfer framework, aided by extra self-supervised modules including background and semantic consistency constraints, learning robust representation under dual domain constraints, such as feature and image domains. Experiments on synthetic and real noise removal tasks show the proposed method achieves comparable performance with other state-of-the-art supervised and unsupervised methods, while having faster and stable convergence than other domain adaption methods.

研究动机与目标

• 解决无配对训练数据下无监督图像复原的挑战，特别是针对真实世界噪声类型。
• 克服现有无监督域迁移方法在图像复原中因域偏移和泛化能力差导致的问题。
• 利用双域约束（特征域与图像域）从无配对噪声数据中学习鲁棒、无噪声的不变表示。
• 通过引入自监督模块（如语义一致性和背景一致性）提升视觉质量与细节保留能力。
• 相比现有无监督域自适应框架，实现更快、更稳定的训练收敛。

提出的方法

• 引入离散解耦表示，以分离受损图像中的内容与噪声成分。
• 使用表示判别器实施对抗性域自适应，将特征对齐至干净域分布。
• 集成自监督模块：通过背景一致性和语义一致性约束引导表示学习。
• 通过联合优化表示损失与重建损失，强制实施双域约束——特征级与图像级。
• 采用端到端训练框架，结合自编码器结构的编码器、共享权重的生成器以及域判别器。
• 利用解耦表示在无需成对干净-噪声数据的情况下重建干净图像。

实验结果

研究问题

• RQ1 不变表示学习是否能在无配对训练数据下提升无监督图像复原性能？
• RQ2 解耦表示与自监督约束如何增强噪声图像复原中特征的鲁棒性？
• RQ3 结合双域约束的对抗性域自适应是否相比标准域迁移方法具有更快、更稳定的收敛性？
• RQ4 所提方法是否能泛化至真实世界噪声类型（如低剂量CT伪影），而不仅限于合成高斯噪声？
• RQ5 组件消融实验（如移除对抗性损失或一致性模块）对重建质量与稳定性有何影响？

主要发现

• 在合成高斯噪声去除任务中，所提方法在PSNR与SSIM指标上表现优异，与最先进监督与无监督方法相当。
• 在真实世界低剂量CT去噪任务中，该方法在视觉质量上优于BM3D、DIP与RedCNN，能更好保留细小结构并减少伪影。
• 消融研究显示，若移除表示对抗网络，高频区域会出现伪影，表明其对特征质量至关重要。
• 若省略背景一致性约束，会导致亮度不一致与细节模糊，凸显其在图像级监督中的作用。
• 训练损失曲线显示，该模型在10万次迭代内收敛速度与稳定性优于DRNet及其他域自适应基线方法。
• 在BSD-68数据集上的定量结果表明，该方法在σ=25的高斯噪声下达到30.12 dB的PSNR，与最先进方法相当。