[论文解读] Interpretable Unsupervised Diversity Denoising and Artefact Removal

Mangal Prakash, Mauricio Delbracio+2 more|arXiv (Cornell University)|Apr 3, 2021

Cell Image Analysis Techniques被引用 8

一句话总结

本文提出分层去噪（Hierarchical DivNoising, HDN），一种基于分层变分自编码器的新型无监督深度学习框架，可生成多样化、可解释的去噪图像重建结果。HDN 在 12 个基准数据集上达到最先进性能，并通过其多尺度、解耦表示学习能力，实现了无监督去除显微镜图像中的结构化伪影。

ABSTRACT

Image denoising and artefact removal are complex inverse problems admitting multiple valid solutions. Unsupervised diversity restoration, that is, obtaining a diverse set of possible restorations given a corrupted image, is important for ambiguity removal in many applications such as microscopy where paired data for supervised training are often unobtainable. In real world applications, imaging noise and artefacts are typically hard to model, leading to unsatisfactory performance of existing unsupervised approaches. This work presents an interpretable approach for unsupervised and diverse image restoration. To this end, we introduce a capable architecture called Hierarchical DivNoising (HDN) based on hierarchical Variational Autoencoder. We show that HDN learns an interpretable multi-scale representation of artefacts and we leverage this interpretability to remove imaging artefacts commonly occurring in microscopy data. Our method achieves state-of-the-art results on twelve benchmark image denoising datasets while providing access to a whole distribution of sensibly restored solutions. Additionally, we demonstrate on three real microscopy datasets that HDN removes artefacts without supervision, being the first method capable of doing so while generating multiple plausible restorations all consistent with the given corrupted image.

研究动机与目标

• 解决现有无监督去噪方法仅生成单一点估计且无法处理结构化噪声的局限性。
• 开发一种比先前无监督模型（如 DivNoising, DN）更具表达能力且计算效率更高的架构，尤其适用于复杂的真实世界成像数据。
• 实现多尺度下图像伪影与真实信号的可解释性解耦，促进针对性伪影去除。
• 证明无监督、多样化的图像恢复可实现接近有监督方法在具有挑战性的显微镜图像和自然图像数据集上的性能。

提出的方法

• HDN 采用具有多个随机潜在层的分层变分自编码器（HVAE），实现多尺度表征学习。
• 该架构在生成路径中使用门控残差块和跳跃连接，以改善特征传播并提升重建保真度。
• 采用自由比特（free-bits）方法进行 KL 正则化，以防止后验坍塌并稳定训练，优于先前模型中使用的 KL 退火方法。
• 模型借鉴自编码器梯形结构，采用自底向上与自顶向下联合推理与生成机制，增强表征表达能力。
• 对最低层潜在表示应用选择性自底向上“去激活”技术，以去除结构化噪声，利用伪影与真实信号在层次结构中的解耦特性。
• 该方法仅使用带噪声图像进行端到端训练，无需成对数据，实现完全无监督运行。

实验结果

研究问题

• RQ1 与标准变分自编码器相比，分层变分自编码器架构能否显著提升无监督图像去噪性能？
• RQ2 此类模型能否在保持高图像质量的同时，生成多样化且合理的去噪重建结果？
• RQ3 分层结构能否实现图像伪影与真实信号分量的可解释性解耦？
• RQ4 通过利用特定尺度的表征分解，模型能否在无监督条件下去除显微镜图像中空间相关联的结构化噪声？
• RQ5 该模型能否在真实世界和基准数据集上缩小无监督与有监督去噪之间的性能差距？

主要发现

• HDN 在 12 个基准图像去噪数据集上达到最先进性能，优于 8 种流行的无监督基线方法。
• 在 BSD68 数据集上，HDN 实现 31.45 dB 的 PSNR，显著优于 DN 及其他无监督模型。
• 当应用批量归一化时，HDN 相较于 DN 提升 0.5 dB PSNR，而跳跃连接进一步带来 0.2 dB 的增益。
• 随着输入噪声水平升高，模型生成的样本多样性逐渐增加，表现为 100 个样本集成中像素级标准差上升。
• 在三个真实显微镜图像数据集上，HDN 在无任何监督的情况下成功去除了结构化伪影，实现了与输入一致的多种合理重建结果。
• 分层架构实现了伪影（由低层捕获）与真实信号（由高层捕获）的可解释性解耦，通过去激活低层特征可实现针对性伪影去除。