[论文解读] High-throughput, high-resolution registration-free generated adversarial network microscopy

Hao Zhang, Xinlin Xie+4 more|arXiv (Cornell University)|Jan 7, 2018

Image Processing Techniques and Applications参考文献 42被引用 8

一句话总结

本文提出了一种无需图像配准、高通量、高分辨率的超分辨率显微成像方法，采用生成对抗网络（GAN）对合成的低分辨率图像进行训练。通过利用学习到的图像退化模型和对抗性训练，该方法在不到一秒内即可从单个低分辨率测量值重建出吉比特像素级、多色、高分辨率图像（1.7 μm 分辨率），且无需对现有显微镜进行图像配准或硬件改造。

ABSTRACT

We combine generative adversarial network (GAN) with light microscopy to achieve deep learning super-resolution under a large field of view (FOV). By appropriately adopting prior microscopy data in an adversarial training, the neural network can recover a high-resolution, accurate image of new specimen from its single low-resolution measurement. Its capacity has been broadly demonstrated via imaging various types of samples, such as USAF resolution target, human pathological slides, fluorescence-labelled fibroblast cells, and deep tissues in transgenic mouse brain, by both wide-field and light-sheet microscopes. The gigapixel, multi-color reconstruction of these samples verifies a successful GAN-based single image super-resolution procedure. We also propose an image degrading model to generate low resolution images for training, making our approach free from the complex image registration during training dataset preparation. After a welltrained network being created, this deep learning-based imaging approach is capable of recovering a large FOV (~95 mm2), high-resolution (~1.7 μm) image at high speed (within 1 second), while not necessarily introducing any changes to the setup of existing microscopes.

研究动机与目标

• 在训练过程中无需复杂的图像配准，实现光学生物显微成像中高通量、高分辨率的超分辨率成像。
• 克服传统超分辨率方法依赖多张低分辨率图像精确对齐的局限性。
• 开发一种可泛化于多种生物样本和显微成像模式的深度学习框架。
• 通过使用学习到的图像退化模型生成合成数据，消除对真实配对的高、低分辨率图像数据集的需求。
• 利用标准显微镜硬件实现实时、快速的吉比特像素级、多色图像重建，分辨率达到亚微米级。

提出的方法

• 训练一个条件生成对抗网络（cGAN），通过对抗性损失和感知损失，将单个低分辨率（LR）图像映射为高分辨率（HR）重建结果。
• 引入一种可微分的图像退化模型，从高分辨率真实图像中合成逼真的低分辨率图像，从而无需使用真实的 LR-HR 图像对。
• 将退化模型与 GAN 端到端联合训练，以确保合成低分辨率输入与真实低分辨率测量结果在分布上保持一致。
• 在包括美国空军分辨率靶标、病理切片、荧光细胞以及透明化小鼠脑组织在内的多种生物样本上进行网络训练。
• 该框架被应用于宽场和光片显微镜系统，实现了在不同成像模式下的重建。
• 推理过程实时进行，每幅图像在一秒内生成吉比特像素级的高分辨率重建结果（最大约 95 mm²）。

实验结果

研究问题

• RQ1 基于 GAN 的超分辨率方法是否能仅从单个低分辨率测量中实现高分辨率成像，而无需图像配准？
• RQ2 通过合成退化生成的图像分布在多样化生物样本上对真实显微数据的泛化能力如何？
• RQ3 该方法在吉比特像素级重建中，对精细结构细节和多色保真度的保持程度如何？
• RQ4 该方法是否可应用于多种显微镜平台（包括宽场和光片显微镜），而无需硬件改造？
• RQ5 在实际应用中，无图像配准的基于 GAN 的超分辨率流程可实现的分辨率和重建速度是多少？

主要发现

• 该方法从单个低分辨率输入实现了约 1.7 μm 分辨率的高分辨率重建，显著超越了原始显微镜的衍射极限。
• 吉比特像素级重建（最大约 95 mm²）在一秒内完成，实现了高通量成像。
• 该方法在多种样本上表现出稳健性能，包括美国空军分辨率靶标、人类病理切片、荧光成纤维细胞以及透明化转基因小鼠脑组织。
• 使用学习到的退化模型消除了数据集准备过程中复杂的图像配准需求，简化了训练流程。
• 该框架可泛化至不同显微成像模式，包括宽场和光片显微镜，且无需硬件更改。
• 重建图像在视觉和定量评估中均保持了多色保真度和精细结构细节，验证了其在真实生物样本上的有效性。