[论文解读] Convolutional neural networks that teach microscopes how to image

Roarke Horstmeyer, Richard Y. Chen+2 more|arXiv (Cornell University)|Sep 21, 2017

Cell Image Analysis Techniques参考文献 22被引用 42

一句话总结

本文提出了一种物理卷积神经网络（P-CNN），通过联合优化显微镜照明图案与图像分类，实现对疟原虫感染红细胞的检测。通过将光学成像形成模型整合到CNN的初始层中，该框架能够同时学习最优LED照明图案与分类器，在分类准确率上比标准明场显微镜或傅里叶叠层成像高出5–10%。

ABSTRACT

Deep learning algorithms offer a powerful means to automatically analyze the content of medical images. However, many biological samples of interest are primarily transparent to visible light and contain features that are difficult to resolve with a standard optical microscope. Here, we use a convolutional neural network (CNN) not only to classify images, but also to optimize the physical layout of the imaging device itself. We increase the classification accuracy of a microscope's recorded images by merging an optical model of image formation into the pipeline of a CNN. The resulting network simultaneously determines an ideal illumination arrangement to highlight important sample features during image acquisition, along with a set of convolutional weights to classify the detected images post-capture. We demonstrate our joint optimization technique with an experimental microscope configuration that automatically identifies malaria-infected cells with 5-10% higher accuracy than standard and alternative microscope lighting designs.

研究动机与目标

• 通过联合优化成像硬件与分类模型，弥合深度学习中图像采集与后处理之间的差距。
• 利用学习最优照明以增强特征的CNN，提升疟原虫感染红细胞检测的准确率。
• 证明显微镜的物理参数——尤其是照明——对分类性能有显著影响。
• 开发一种框架，使CNN不仅能分类图像，还能自主设计成像设置本身。
• 通过联合优化成像硬件与基于学习的分类流程，实现更高效、更准确的诊断。

提出的方法

• 将光学成像形成的物理模型集成到CNN的第一层，将照明图案视为可学习参数。
• 使用张量积层模拟照明图案与样品透射之间的相互作用，以模拟图像形成过程。
• 在物理建模之后，采用标准CNN架构（包含卷积、池化和全连接层）进行分类。
• 通过反向传播端到端训练整个网络，同时优化照明权重与分类器参数。
• 在最后一个全连接层与输出层之间应用dropout（概率为0.5），以防止过拟合。
• 使用Adam优化算法，配合特定超参数（β₁=0.9，β₂=0.999，ε=1e-8，学习率10⁻⁴或10⁻³）进行训练。

实验结果

研究问题

• RQ1 CNN能否同时优化显微镜的照明图案与图像分类？
• RQ2 与标准明场成像相比，学习最优照明图案是否能提升分类准确率？
• RQ3 能否将图像形成的物理模型嵌入CNN中，以指导硬件优化？
• RQ4 与傅里叶叠层成像等替代成像技术相比，联合优化框架的性能如何？
• RQ5 在深度学习的辅助下，照明设计在多大程度上可针对特定分类任务进行定制？

主要发现

• 所提出的P-CNN框架在检测恶性疟原虫感染红细胞方面，分类准确率比标准明场显微镜高出5–10%。
• 网络学习到了两种不同的LED照明图案——分别具有正负权重——显著增强了分类所需的特征可见性。
• 该方法优于傅里叶叠层成像，尽管后者分辨率更高，但需要更多图像且效率较低。
• 通过端到端训练实现的照明与分类的联合优化，提升了模型的泛化能力与特征敏感度。
• 该框架表明，物理成像参数对下游分类性能至关重要，且可由网络直接学习。
• 该方法可扩展至其他成像参数，如相位板、光谱设置及偏振配置。