[论文解读] Ensemble learning and iterative training (ELIT) machine learning: applications towards uncertainty quantification and automated experiment in atom-resolved microscopy

Ayana Ghosh, Bobby G. Sumpter+3 more|arXiv (Cornell University)|Jan 21, 2021

Advanced Electron Microscopy Techniques and Applications被引用 5

一句话总结

该论文提出了集成学习与迭代训练（ELIT）框架，一种机器学习方法，可提升不确定性量化能力，并实现在原子分辨电子显微镜中自动化、抗漂移的特征提取。通过结合集成推理与迭代模型优化，ELIT 减少了人工干预，在不同成像条件下保持高精度，并支持无需重新训练的实时实验工作流程。

ABSTRACT

Deep learning has emerged as a technique of choice for rapid feature extraction across imaging disciplines, allowing rapid conversion of the data streams to spatial or spatiotemporal arrays of features of interest. However, applications of deep learning in experimental domains are often limited by the out-of-distribution drift between the experiments, where the network trained for one set of imaging conditions becomes sub-optimal for different ones. This limitation is particularly stringent in the quest to have an automated experiment setting, where retraining or transfer learning becomes impractical due to the need for human intervention and associated latencies. Here we explore the reproducibility of deep learning for feature extraction in atom-resolved electron microscopy and introduce workflows based on ensemble learning and iterative training to greatly improve feature detection. This approach both allows incorporating uncertainty quantification into the deep learning analysis and also enables rapid automated experimental workflows where retraining of the network to compensate for out-of-distribution drift due to subtle change in imaging conditions is substituted for a human operator or programmatic selection of networks from the ensemble. This methodology can be further applied to machine learning workflows in other imaging areas including optical and chemical imaging.

研究动机与目标

• 解决深度学习在实验成像中因成像条件发生细微变化而导致的分布外漂移问题，避免模型性能下降。
• 通过消除对人工重新训练或超参数调优的需求，实现在原子分辨显微镜中的自动化实验工作流程。
• 将不确定性量化整合到深度学习推理中，以提高特征检测的可靠性与可解释性。
• 开发一种可扩展、自适应的机器学习流水线，在无需人工重新训练的情况下，保持在多样化实验设置下的性能表现。
• 建立一种可泛化的框架，适用于其他成像模态，包括光学成像与化学成像。

提出的方法

• 构建一组预训练的深度神经网络，通过模型输出的方差来估计预测不确定性。
• 通过在新数据分布上评估性能，从集成中选择并重新训练模型，实现迭代训练。
• 利用不确定性估计指导模型选择与重新训练决策，降低对人工操作员的依赖。
• 应用模型平均与不确定性校准技术，提升特征检测的鲁棒性与可靠性。
• 设计一个反馈回路，使新数据触发对集成成员的选择性重新训练，从而在漂移条件下保持性能。
• 将集成推理流水线集成到实时实验工作流程中，以支持显微镜中的自动化决策。

实验结果

研究问题

• RQ1 如何有效将不确定性量化集成到实验显微镜的深度学习流水线中？
• RQ2 基于集成的推理在成像条件漂移下，能在多大程度上减少对人工干预进行模型重新训练的需求？
• RQ3 对模型集成进行迭代训练是否能在无需完整重新训练的情况下，保持在多样化实验条件下的高精度？
• RQ4 与标准微调或迁移学习相比，ELIT 框架在自动化实验中的延迟与可靠性方面表现如何？
• RQ5 不确定性感知的模型选择对原子分辨显微镜中特征提取的鲁棒性与可重复性有何影响？

主要发现

• ELIT 框架通过实现基于不确定性的自动化模型选择，显著减少了人工干预在模型重新训练中的参与。
• 基于集成的不确定性估计提升了特征检测的可靠性，尤其是在分布外成像条件下表现更优。
• 对选定集成成员进行迭代训练，可在不同实验参数下保持高精度的特征检测，且延迟极低。
• 该方法实现了原子分辨电子显微镜中的实时自动化实验工作流程，支持无需人工重新配置的持续数据分析。
• 该框架对细微的成像条件漂移具有鲁棒性，在动态实验环境中优于标准微调方法。
• 该方法具有良好的泛化能力，经少量架构修改后，可适用于其他成像领域，包括光学成像与化学成像。