[论文解读] DivNoising: Diversity Denoising with Fully Convolutional Variational Autoencoders.

Mangal Prakash, Alexander Krull+1 more|arXiv (Cornell University)|Jun 10, 2020

Cell Image Analysis Techniques被引用 9

一句话总结

DivNoising 提出了一种全卷积变分自编码器，可预测去噪图像的多样化分布，而非单一输出，从而在显微镜图像复原中实现不确定性感知。通过从后验分布中采样，该方法在无需成对干净数据的情况下，提升了光学字符识别和细胞分割等下游任务的性能。

ABSTRACT

Deep Learning based methods have emerged as the indisputable leaders for virtually all image restoration tasks. Especially in the domain of microscopy images, various content-aware image restoration (CARE) approaches are now used to improve the interpretability of acquired data. But there are limitations to what can be restored in corrupted images, and any given method needs to make a sensible compromise between many possible clean signals when predicting a restored image. Here, we propose DivNoising -- a denoising approach based on fully-convolutional variational autoencoders, overcoming this problem by predicting a whole distribution of denoised images. Our method is unsupervised, requiring only noisy images and a description of the imaging noise, which can be measured or bootstrapped from noisy data. If desired, consensus predictions can be inferred from a set of DivNoising predictions, leading to competitive results with other unsupervised methods and, on occasion, even with the supervised state-of-the-art. DivNoising samples from the posterior enable a plethora of useful applications. We are (i) discussing how optical character recognition (OCR) applications could benefit from diverse predictions on ambiguous data, and (ii) show in detail how instance cell segmentation gains performance when using diverse DivNoising predictions.

研究动机与目标

• 解决单输出去噪方法在无法捕捉受损显微镜图像中不确定性的问题。
• 开发一种仅依赖噪声图像和噪声模型描述的无监督去噪框架。
• 实现多样化预测，以提升光学字符识别和实例细胞分割等下游任务的性能。
• 提供分布式输出以反映不确定性，支持图像分析中的稳健决策。

提出的方法

• 该方法采用全卷积变分自编码器（VAE）来建模在给定噪声输入下，干净图像的后验分布。
• 通过重参数化技巧实现端到端训练，支持通过从后验分布中随机采样进行反向传播。
• 噪声特性通过已知或估计的噪声模型进行建模，并用于条件化 VAE 的推理和生成网络。
• 通过多次从训练好的 VAE 后验分布中采样，生成多样化的去噪输出。
• 通过多个样本的共识预测提高鲁棒性和性能。
• 该方法完全无监督，训练过程中无需成对的干净-噪声图像。

实验结果

研究问题

• RQ1 变分自编码器框架能否在无成对训练数据的情况下，从噪声显微镜图像中生成多样化且高质量的去噪输出？
• RQ2 从去噪图像分布中采样如何提升光学字符识别和细胞分割等下游任务的性能？
• RQ3 从多样化样本中得出的共识预测在多大程度上可达到或超越监督学习的最先进结果？
• RQ4 当真实干净信号存在歧义时，该方法如何处理图像复原中的不确定性？

主要发现

• 与其它无监督去噪方法相比，DivNoising 表现具有竞争力，性能接近监督学习的最先进模型。
• 多样化预测的使用显著提升了实例细胞分割的性能，证明了不确定性感知输出的价值。
• 光学字符识别应用从多样化预测中受益，能够更稳健地处理噪声图像中模糊或低对比度的文本。
• 从多个样本中推导出的共识预测可实现稳定且高质量的复原，降低输出方差。
• 该方法仅需噪声图像和噪声模型描述即可有效运行，无需成对数据。