[论文解读] Attaining Real-Time Super-Resolution for Microscopic Images Using GAN

Vibhu Bhatia, Yatender Kumar|arXiv (Cornell University)|Oct 9, 2020

Advanced Image Processing Techniques参考文献 36被引用 5

一句话总结

本文提出了一种改进的SRGAN架构，通过优化生成器设计并在判别器中引入全局平均池化层，实现了显微图像的实时超分辨率。通过移除批归一化并采用分块策略，该方法将每张64×64图像块的推理时间降低至0.051秒，在标准GPU上实现了24.2 FPS的视频处理速度，同时保持了高感知质量，并具备跨领域的泛化能力。

ABSTRACT

In the last few years, several deep learning models, especially Generative Adversarial Networks have received a lot of attention for the task of Single Image Super-Resolution (SISR). These methods focus on building an end-to-end framework, which produce a high resolution(SR) image from a given low resolution(LR) image in a single step to achieve state-of-the-art performance. This paper focuses on improving an existing deep-learning based method to perform Super-Resolution Microscopy in real-time using a standard GPU. For this, we first propose a tiling strategy, which takes advantage of parallelism provided by a GPU to speed up the network training process. Further, we suggest simple changes to the architecture of the generator and the discriminator of SRGAN. Subsequently, We compare the quality and the running time for the outputs produced by our model, opening its applications in different areas like low-end benchtop and even mobile microscopy. Finally, we explore the possibility of the trained network to produce High-Resolution HR outputs for different domains.

研究动机与目标

• 解决使用深度学习实现实时光学显微镜中实时超分辨率的挑战。
• 提升现有基于GAN的超分辨率模型（如SRGAN）的感知质量和推理速度。
• 通过降低计算延迟，实现低性能及移动显微镜平台的部署。
• 评估训练模型在非显微图像和多样化图像领域中的跨域泛化能力。
• 为实时视频显微镜应用优化模型，实现实时处理。

提出的方法

• 提出一种分块策略，以利用GPU并行性，将大图像划分为较小的图像块，实现高效训练与推理。
• 通过用亚像素卷积层替代转置卷积层，对SRGAN生成器进行修改，以改善特征学习并减少棋盘伪影。
• 将生成器中的残差块替换为残差内残差密集块（RRDBs），以增强特征传播与学习能力。
• 在判别器中引入全局平均池化（GAP）层，以改善梯度流动并稳定训练过程。
• 移除批归一化层以减少模型参数量和推理时间，提升实时性能。
• 使用双三次下采样生成低分辨率输入，并在人类蛋白质图谱数据集上端到端训练模型，以实现显微图像特异性增强。

实验结果

研究问题

• RQ1 对SRGAN进行架构修改是否能同时提升显微图像超分辨率的感知质量与推理速度？
• RQ2 移除批归一化对实时应用中的推理速度与模型性能有何影响？
• RQ3 在显微图像上训练的模型在其他领域（如自然图像与生物组织切片）中的泛化能力如何？
• RQ4 分块策略是否能有效扩展模型处理大尺寸显微图像，而不会造成显著质量下降？
• RQ5 在视频显微镜数据上应用时，可实现的帧率是多少？

主要发现

• 改进后的SRGAN在测试集上达到33.873 dB的PSNR和0.832的SSIM，其感知质量优于基线SRGAN及其他方法。
• 单个64×64图像块的推理时间降低至0.051秒，在视频数据上实现24.2 FPS的实时处理。
• 移除批归一化后，单个图像块的推理时间进一步缩短至0.041秒，帧率提升至25.7 FPS，证实其对速度的积极影响。
• 模型在跨域输入上表现出良好的泛化能力，能为自然图像（Set 14）、荧光显微镜图像及小鼠脑切片生成合理超分辨率输出。
• 在跨域图像中，模型对明亮或白色区域的处理效果较差，可能是因为训练数据中缺乏此类特征。
• MOS测试结果表明，模型输出在视觉上比基线方法更接近真实图像，验证了其在视觉质量上的提升。