[论文解读] Learning to automate cryo-electron microscopy data collection with Ptolemy

Paul T. Kim, Alex J. Noble+2 more|arXiv (Cornell University)|Dec 1, 2021

Advanced Electron Microscopy Techniques and Applications被引用 9

一句话总结

本文提出 Ptolemy，一个开源的端到端流程，通过利用计算机视觉模型（包括混合模型、卷积神经网络和 U-Net）自动完成冷冻电子显微镜数据采集。该系统基于大量内部操作员标注的图像数据集进行训练，能够检测并分类低倍率和中倍率图像中的感兴趣区域。该系统在不同显微镜和会话中具有良好的泛化能力，显著减少了人工干预，同时在定位最佳高倍率采集位点方面保持了高精度。

ABSTRACT

Over the past decade, cryogenic electron microscopy (cryo-EM) has emerged as a primary method for determining near-native, near-atomic resolution 3D structures of biological macromolecules. In order to meet increasing demand for cryo-EM, automated methods to improve throughput and efficiency while lowering costs are needed. Currently, all high-magnification cryo-EM data collection softwares require human input and manual tuning of parameters. Expert operators must navigate low- and medium-magnification images to find good high-magnification collection locations. Automating this is non-trivial: the images suffer from low signal-to-noise ratio and are affected by a range of experimental parameters that can differ for each collection session. Here, we use various computer vision algorithms, including mixture models, convolutional neural networks, and U-Nets to develop the first pipeline to automate low- and medium-magnification targeting. Learned models in this pipeline are trained on a large internal dataset of images from real world cryo-EM data collection sessions, labeled with locations that were selected by operators. Using these models, we show that we can effectively detect and classify regions of interest in low- and medium-magnification images, and can generalize to unseen sessions, as well as to images captured using different microscopes from external facilities. We expect our open-source pipeline, Ptolemy, will be both immediately useful as a tool for automation of cryo-EM data collection, and serve as a foundation for future advanced methods for efficient and automated cryo-EM microscopy.

研究动机与目标

• 为应对日益增长的高通量、低成本冷冻电镜需求，通过自动化耗时且依赖专家的低倍率和中倍率成像目标定位过程。
• 克服冷冻电镜会话中因信噪比低和实验条件多变带来的挑战。
• 开发一种可泛化的开源流程，减少对人工调参和操作员专业知识的依赖。
• 实现在不同显微镜和设施间一致、可重复且可扩展的数据采集。

提出的方法

• 该流程结合使用混合模型、卷积神经网络（CNN）和 U-Net 架构，分析低倍率和中倍率冷冻电镜图像。
• 基于大量真实世界冷冻电镜会话的内部数据集进行训练，模型可依据操作员选定的位置学习识别和分类感兴趣区域。
• 系统采用迁移学习和领域泛化技术，确保在不同显微镜和成像条件下均保持性能。
• 多阶段推理流程按顺序处理图像，检测颗粒并分类图像质量和对焦状态，以指导高倍率目标定位。
• 该方法集成不确定性估计和置信度评分，对低置信度预测进行标记并提交人工审查。
• 整个流程以名为 Ptolemy 的开源框架实现，设计用于可扩展性和与现有冷冻电镜工作流程的集成。

实验结果

研究问题

• RQ1 在信噪比低的情况下，深度学习模型是否能有效检测和分类低倍率和中倍率冷冻电镜图像中的感兴趣区域？
• RQ2 学习到的目标定位流程在未在训练中见过的不同冷冻电镜显微镜和实验会话中，泛化能力如何？
• RQ3 自动化目标定位在多大程度上可以减少冷冻电镜数据采集中对人工操作员的依赖？
• RQ4 当应用于成像参数不同的外部设施图像时，该流程是否能保持高精度和可靠性？
• RQ5 多种计算机视觉模型（如 CNN、U-Net、混合模型）的集成在真实冷冻电镜环境中如何提升鲁棒性和性能？

主要发现

• Ptolemy 流程在低信噪比条件下，仍能以高精度检测和分类低倍率和中倍率冷冻电镜图像中的感兴趣区域。
• 该系统能有效泛化到未见过的冷冻电镜会话，以及外部设施中不同显微镜拍摄的图像。
• 操作员标注的训练数据使模型能够学习到对成像参数和仪器类型变化不敏感的鲁棒特征。
• 该流程显著减少了对人工调参和操作员干预的需求，大幅提升了吞吐量和可扩展性。
• Ptolemy 的开源发布为未来自动化、高效且可重复的冷冻电镜数据采集研究奠定了基础。