[논문 리뷰] Deep Learning Segmentation of Complex Features in Atomic-Resolution Phase Contrast Transmission Electron Microscopy Images

Robbie Sadre, Colin Ophus외 2명|arXiv (Cornell University)|2020. 12. 09.

Advanced Electron Microscopy Techniques and Applications참고 문헌 61인용 수 36

한 줄 요약

이 논문은 그래핀의 원자해상도 위상대조 TEM 이미지에서 표면 오염물질을 자동으로 분할하는 U-Net 기반 딥러닝 모델을 제안하며, 기존의 브라그 필터링을 능가한다. 이 방법은 최소한의 하이퍼파rameter 튜닝으로도 높은 정확도와 강건성을 달성하여 2차원 물질에서 복잡한 결함 구조의 완전 자동 분석을 가능하게 한다.

ABSTRACT

Phase contrast transmission electron microscopy (TEM) is a powerful tool for imaging the local atomic structure of materials. TEM has been used heavily in studies of defect structures of 2D materials such as monolayer graphene due to its high dose efficiency. However, phase contrast imaging can produce complex nonlinear contrast, even for weakly-scattering samples. It is therefore difficult to develop fully-automated analysis routines for phase contrast TEM studies using conventional image processing tools. For automated analysis of large sample regions of graphene, one of the key problems is segmentation between the structure of interest and unwanted structures such as surface contaminant layers. In this study, we compare the performance of a conventional Bragg filtering method to a deep learning routine based on the U-Net architecture. We show that the deep learning method is more general, simpler to apply in practice, and produces more accurate and robust results than the conventional algorithm. We provide easily-adaptable source code for all results in this paper, and discuss potential applications for deep learning in fully-automated TEM image analysis.

연구 동기 및 목표

• 원자해상도 위상대조 TEM 이미지에서 그래핀의 표면 오염물질을 자동으로 분할하는 데 도전하는 데 목적이 있다.
• 딥러닝(U-Net)의 성능을 기존의 브라그 필터링과 비교하여 오염물질 분할에 대해 평가하는 데 목적이 있다.
• 물질 과학 분야의 자동 TEM 이미지 분석을 위한 일반화 가능하고 강건하며 쉽게 적응 가능한 딥러닝 파이프라인을 개발하는 데 목적이 있다.
• 수동 분할의 병목 현상을 제거하여 2차원 물질의 결함 구조에 대한 완전 자동화된 후속 분석을 가능하게 하는 데 목적이 있다.

제안 방법

• 라벨이 부여된 그래핀의 표면 오염물질을 포함한 고해상도 TEM 이미지 데이터셋을 기반으로 U-Net 컨볼루션 신경망 아키텍처를 훈련시켰다.
• 제한된 라벨 데이터로 인한 과적합을 방지하고 일반화 능력을 확보하기 위해 k-폴드 교차검증을 사용하였다.
• 이미지 전처리 단계에서는 빔 유도 강도 변화를 보정하기 위해 정규화 및 강도 보정을 수행하였다.
• 에코더와 디코더 블록 간의 스킵 연결을 통해 공간 해상도를 유지하고 분할 정확도를 향상시켰다.
• 모델 훈련은 이진 교차엔트로피 손실을 사용한 픽셀 단위의 오염물질 대비 그래핀 영역 분류를 위해 Adam 옵tim자르를 사용하였다.
• 이 방법은 주기성과 衍사 패턴에 의존하는 고전적인 푸리에 기반 기법인 브라그 필터링과 비교되었다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 원자해상도 TEM 이미지에서 그래핀의 표면 오염물질을 분할하는 데 있어 기존의 브라그 필터링을 능가할 수 있는가?
• RQ2 U-Net 모델은 다양한 그래핀 미세구조와 오염 패턴에 대해 얼마나 강건하고 일반화 가능한가?
• RQ3 U-Net 모델은 자동화된 TEM 이미지 분석 파이프라인에서 수동 간섭을 얼마나 줄일 수 있는가?
• RQ4 과학적 이미징 응용 분야에서 흔히 볼 수 있는 제한된 라벨 데이터셋에서 모델의 성능은 어떠한가?

주요 결과

• U-Net 모델은 복잡하고 비주기적인 오염 패턴이 있는 영역에서 브라그 필터링보다 유의미하게 높은 분할 정확도를 달성한다.
• 딥러닝 접근법은 전자 용량의 변동성과 이미지 전반의 빔 유도 강도 기울기 변화에 더 강건하다.
• 재학습 없이도 다양한 그래핀 결정립 경계와 오염 형태에 대해 잘 일반화된다.
• 수동 분할의 필요성을 줄여 대규모 TEM 데이터셋에 대한 완전 자동화된 분석 파이프라인을 가능하게 한다.
• 저자들은 U-Net 모델과 훈련 파이프라인에 대한 오픈소스 코드를 제공하여 과학 공동체의 재사용과 확장 가능성을 높였다.
• U-Net 접근법은 원자 척도의 결함 특징(예: 결정립 경계)를 가리키는 오염층을 신뢰성 있게 탐지할 수 있다.