[论文解读] High-throughput, high-resolution Generated Adversarial Network Microscopy.

Hao Zhang, Xinlin Xie+4 more|arXiv (Cornell University)|Jan 7, 2018

Image Processing Techniques and Applications参考文献 33被引用 4

一句话总结

本文提出了一种基于生成对抗网络（GAN）的超分辨率方法，通过从单个低分辨率输入重建千兆像素级、多色图像，实现了高通量、高分辨率的宽场显微成像。通过在对抗训练中利用先验显微图像数据，该方法在不到一秒内实现了95 mm²视场范围内约1.7 µm的分辨率，且无需修改现有显微镜硬件。

ABSTRACT

We for the first time combine generated adversarial network (GAN) with wide-field light microscopy to achieve deep learning super-resolution under a large field of view (FOV). By appropriately adopting prior microscopy data in an adversarial training, the network can recover a high-resolution, accurate image of new specimen from its single low-resolution measurement. This capacity has been adequately demonstrated by imaging various types of samples, such as USAF resolution target, human pathological slides and fluorescence-labelled fibroblast cells. Their gigapixel, multi-color reconstructions verify a successful GAN-based single image super-resolution procedure. Furthermore, this deep learning-based imaging approach doesn;t necessarily introduce any change to the setup of a conventional wide-filed microscope, reconstructing large FOV (about 95 mm^2), high-resolution (about 1.7 {\mu}m) image at a high speed (in 1 second). As a result, GAN-microscopy opens a new way to computationally overcome the general challenge of high-throughput, high-resolution microscopy that is originally coupled to the physical limitation of system's optics.

研究动机与目标

• 克服传统宽场显微成像在同时实现高分辨率与大视场方面所受的物理限制。
• 开发一种高效的深度学习超分辨率方法，适用于大规模千兆像素显微图像。
• 实现在不到一秒内从单个低分辨率测量值高速重建高分辨率图像。
• 在不改变现有显微镜硬件的前提下，保持重建图像的图像保真度和结构准确性。

提出的方法

• 使用先验显微图像数据训练生成对抗网络（GAN），学习从低分辨率图像到高分辨率图像的映射关系。
• 应用对抗训练以提升重建图像的感知质量和结构准确性。
• 网络优化为从单个低分辨率输入重建高分辨率图像，同时保留多色信息和精细结构细节。
• 该方法设计为与标准宽场显微镜兼容，无需硬件修改。
• 训练过程结合真实显微图像数据，以提升在新样本上的泛化能力和准确性。
• 该框架实现了千兆像素图像的端到端重建，具备约1.7 µm的高空间分辨率和约95 mm²的大视场。

实验结果

研究问题

• RQ1 基于GAN的方法是否能在宽场显微成像中实现在大视场范围内的高分辨率超分辨率成像？
• RQ2 深度学习模型能否从单个低分辨率输入中准确重建出精细结构细节？
• RQ3 所提出的方法是否能在不进行硬件修改的情况下保持高速重建（小于一秒）？
• RQ4 在对抗训练中使用先验显微图像数据是否能提升图像保真度和分辨率？
• RQ5 该方法是否能在包括病理切片和荧光标记细胞在内的多种生物样本上实现良好泛化？

主要发现

• 该方法成功地从单个低分辨率输入重建出千兆像素级、多色图像，视场范围约为95 mm²。
• 重建图像的空间分辨率约为1.7 µm，显著优于输入低分辨率图像的分辨率。
• 重建过程耗时不足一秒，实现了高通量成像。
• 该方法在多种样本上表现出稳健性能，包括USAF分辨率靶标、人类病理切片以及荧光标记的成纤维细胞。
• 该方法无需对传统宽场显微镜装置进行任何修改，保持与现有硬件的兼容性。
• 在对抗训练中使用先验显微图像数据显著提升了重建图像的感知质量与结构准确性。