[论文解读] Deep Learning Segmentation of Complex Features in Atomic-Resolution Phase Contrast Transmission Electron Microscopy Images

Robbie Sadre, Colin Ophus+2 more|arXiv (Cornell University)|Dec 9, 2020

Advanced Electron Microscopy Techniques and Applications参考文献 61被引用 36

一句话总结

本文提出一种基于U-Net的深度学习模型，用于自动分割石墨烯原子分辨率相位衬度透射电镜图像中的表面污染物，其性能优于传统的布拉格滤波。该方法在极少超参数调优的情况下实现了更高的准确性和鲁棒性，可实现对二维材料中复杂缺陷结构的完全自动化分析。

ABSTRACT

Phase contrast transmission electron microscopy (TEM) is a powerful tool for imaging the local atomic structure of materials. TEM has been used heavily in studies of defect structures of 2D materials such as monolayer graphene due to its high dose efficiency. However, phase contrast imaging can produce complex nonlinear contrast, even for weakly-scattering samples. It is therefore difficult to develop fully-automated analysis routines for phase contrast TEM studies using conventional image processing tools. For automated analysis of large sample regions of graphene, one of the key problems is segmentation between the structure of interest and unwanted structures such as surface contaminant layers. In this study, we compare the performance of a conventional Bragg filtering method to a deep learning routine based on the U-Net architecture. We show that the deep learning method is more general, simpler to apply in practice, and produces more accurate and robust results than the conventional algorithm. We provide easily-adaptable source code for all results in this paper, and discuss potential applications for deep learning in fully-automated TEM image analysis.

研究动机与目标

• 解决在石墨烯原子分辨率相位衬度透射电镜图像中自动分割表面污染物的挑战。
• 对比深度学习（U-Net）与传统布拉格滤波在污染物分割方面的性能表现。
• 开发一种可推广、鲁棒且易于适应的深度学习流程，用于材料科学中的自动化TEM图像分析。
• 通过消除手动分割瓶颈，实现对二维材料中缺陷结构的完全自动化后续分析。

提出的方法

• 在包含表面污染物的石墨烯高分辨透射电镜图像标注数据集上训练基于U-Net的卷积神经网络架构。
• 采用k折交叉验证以确保模型具有良好的泛化能力，并在标注数据有限的情况下避免过拟合。
• 图像预处理包括归一化和强度校正，以补偿视场内电子束引起的强度变化。
• U-Net通过编码器与解码器模块之间的跳跃连接，保留空间分辨率并提高分割精度。
• 模型训练采用Adam优化器和二元交叉熵损失函数，实现对污染物区域与石墨烯区域的像素级分类。
• 将该方法与布拉格滤波进行对比，后者是一种依赖周期性和衍射图案的基于傅里叶变换的经典技术。

实验结果

研究问题

• RQ1 深度学习模型是否能在原子分辨率TEM石墨烯图像中对表面污染物进行分割时，优于传统布拉格滤波？
• RQ2 U-Net模型在不同石墨烯微观结构和污染形态下的鲁棒性与泛化能力如何？
• RQ3 U-Net模型在多大程度上可减少自动化TEM图像分析流程中的手动干预？
• RQ4 该模型在科学成像应用中典型的有限标注数据集上的表现如何？

主要发现

• U-Net模型在复杂且非周期性污染图案区域的分割精度显著高于布拉格滤波。
• 深度学习方法对电子束剂量变化和图像中电子束引起的强度梯度变化更具鲁棒性。
• U-Net模型在无需微调的情况下，能良好泛化于不同石墨烯晶界和污染形态。
• 该方法显著减少了对手动分割的依赖，使大规模TEM数据集的完全自动化分析流程成为可能。
• 作者提供了U-Net模型和训练流程的开源代码，便于科学界复用和扩展。
• U-Net方法能够可靠检测出遮挡原子尺度缺陷特征（如晶界）的污染物层。