[论文解读] Cryo-CARE: Content-Aware Image Restoration for Cryo-Transmission Electron Microscopy Data

Tim-Oliver Buchholz, Mareike A. Jordan+2 more|arXiv (Cornell University)|Oct 12, 2018

Advanced Electron Microscopy Techniques and Applications被引用 6

一句话总结

Cryo-CARE 提出了一种内容感知的深度学习方法，用于仅使用噪声图像对（无高信噪比真实值）对冷冻透射电镜（cryo-TEM）数据进行去噪。该方法无需高信噪比真实值即可实现显著的对比度增强，适用于二维投影和三维断层扫描，提升人工检查与自动后续分析的性能，包括密集分割。

ABSTRACT

Multiple approaches to use deep learning for image restoration have recently been proposed. Training such approaches requires well registered pairs of high and low quality images. While this is easily achievable for many imaging modalities, e.g. fluorescence light microscopy, for others it is not. Cryo-transmission electron microscopy (cryo-TEM) could profoundly benefit from improved denoising methods, unfortunately it is one of the latter. Here we show how recent advances in network training for image restoration tasks, i.e. denoising, can be applied to cryo-TEM data. We describe our proposed method and show how it can be applied to single cryo-TEM projections and whole cryo-tomographic image volumes. Our proposed restoration method dramatically increases contrast in cryo-TEM images, which improves the interpretability of the acquired data. Furthermore we show that automated downstream processing on restored image data, demonstrated on a dense segmentation task, leads to improved results.

研究动机与目标

• 解决冷冻电镜中缺乏高信噪比真实值的问题，该问题阻碍了标准图像复原网络的训练。
• 通过借鉴真实世界图像去噪中的噪声不变训练范式，实现在冷冻电镜中内容感知的图像复原。
• 开发一种方法，提升图像可解释性并支持自动分析，而无需人工标注的真实值。
• 在单张投影和完整断层扫描体积上验证 Cryo-CARE 的有效性。
• 证明经复原的数据可显著提升下游任务（如分割和重建）的性能。

提出的方法

• 通过仅使用低信噪比图像对的配对数据，训练基于 U-Net 的去噪网络，适配 CARE 框架，避免对高信噪比真实值的需求。
• 利用 Noise2Noise 原理，对具有独立噪声实现的成对噪声图像进行训练，实现内容感知的复原。
• 在三种数据模式下进行训练：P2P-ip（获取的图像对）、P2P-tap（断层扫描中的倾斜角度对）和 T2T（剂量分帧的电影帧）。
• 通过配对输入的两个复原输出进行逐像素平均，以提高重建保真度。
• 采用 U-Net 架构，卷积核大小为 3，包含两个编码器/解码器模块，最终层使用线性激活函数。
• 使用均方误差损失进行训练，并在提取的 10% 图像块上进行验证，使用开源 CARE 框架。

实验结果

研究问题

• RQ1 尽管缺乏高信噪比真实值图像，内容感知的图像复原是否能有效应用于冷冻电镜数据？
• RQ2 在注册的噪声图像对（如剂量分帧电影或倾斜系列）上进行训练，是否能相比中值滤波或 NAD 等基线方法获得更优的去噪性能？
• RQ3 Cryo-CARE 是否能通过减少缺失楔形伪影来提升三维断层扫描重建的质量？
• RQ4 通过 Cryo-CARE 进行图像复原是否能带来可测量的下游任务性能提升，如分割？
• RQ5 Cryo-CARE 是否能仅使用显微镜采集的数据进行训练，而无需人工标注的标签？

主要发现

• Cryo-CARE 显著提升了冷冻电镜二维投影和三维断层扫描的对比度与分辨率，增强了视觉可解释性。
• P2P-tap 和 T2T 训练方案在定性和定量评估中均优于中值滤波和 NAD 等简单基线方法。
• 在剂量分帧电影帧上进行 T2T 训练，相比基于 P2P 的方法，能更有效地减少断层扫描重建中的缺失楔形伪影。
• 傅里叶壳相关（FSC）分析证实，Cryo-CARE 复原数据的分辨率和信噪比均得到提升，尤其在 T2T 剂量分帧重建中表现显著。
• 在 Cryo-CARE 复原的断层扫描数据上应用自动分割工作流，其精确率和召回率相比原始数据有显著提升。
• 该方法实现了图像复原与下游分析的有效解耦，减少了端到端流程中对大规模标注数据集的依赖。