[論文レビュー] Deep Learning Segmentation of Complex Features in Atomic-Resolution Phase Contrast Transmission Electron Microscopy Images

Robbie Sadre, Colin Ophus+2 more|arXiv (Cornell University)|Dec 9, 2020

Advanced Electron Microscopy Techniques and Applications参考文献 61被引用数 36

ひとこと要約

本稿では、グラファイトの原子分解能位相対照TEM像における表面汚染物質の自動セグメンテーションを目的としたU-Netベースの深層学習モデルを提案する。従来のブレッグフィルタリングを上回る性能を発揮し、最小限のハイパーパrameterチューニングで高い精度と頑健性を達成する。2次元材料における複雑な欠陥構造の完全自動分析を可能にする。

ABSTRACT

Phase contrast transmission electron microscopy (TEM) is a powerful tool for imaging the local atomic structure of materials. TEM has been used heavily in studies of defect structures of 2D materials such as monolayer graphene due to its high dose efficiency. However, phase contrast imaging can produce complex nonlinear contrast, even for weakly-scattering samples. It is therefore difficult to develop fully-automated analysis routines for phase contrast TEM studies using conventional image processing tools. For automated analysis of large sample regions of graphene, one of the key problems is segmentation between the structure of interest and unwanted structures such as surface contaminant layers. In this study, we compare the performance of a conventional Bragg filtering method to a deep learning routine based on the U-Net architecture. We show that the deep learning method is more general, simpler to apply in practice, and produces more accurate and robust results than the conventional algorithm. We provide easily-adaptable source code for all results in this paper, and discuss potential applications for deep learning in fully-automated TEM image analysis.

研究の動機と目的

• 原子分解能位相対照TEM画像におけるグラファイトの表面汚染物質の自動セグメンテーションの課題に対処すること。
• 深層学習（U-Net）と従来のブレッグフィルタリングの間で、汚染物質セグメンテーションの性能を比較すること。
• 材料科学分野におけるTEM画像の自動分析用に、汎用的で頑健かつ容易に適合可能な深層学習パイプラインを開発すること。
• 手動セグメンテーションのボトル neck を排除することで、2次元材料における欠陥構造の完全自動後続分析を可能にすること。

提案手法

• ラベル付きのグラファイトの表面汚染物質を含む高分解能TEM画像のデータセットを用いて、U-Net畳み込みニューラルネットワークアーキテクチャを学習する。
• 限られたラベル付きデータで過学習を避けるために、k分割交差検証を用いてモデルの汎化性能を確保する。
• 走査電子線による強度変動を補正するため、画像前処理として正規化と強度補正を実施する。
• エンコーダーとデコーダーのブロック間のスキップ接続を採用することで、空間分解能を保持し、セグメンテーション精度を向上させる。
• ピクセル単位の分類（汚染物質対グラファイト領域）に、Adam最適化法とバイナリクロスエントロピー損失関数を用いてモデルを訓練する。
• 本手法は、周期性と回折パターンに依存する古典的手法であるブレッグフィルタリングと比較される。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、原子分解能TEM画像におけるグラファイトの表面汚染物質のセグメンテーションにおいて、従来のブレッグフィルタリングを上回ることができるか？
• RQ2 U-Netモデルは、多様なグラファイト微小構造および汚染パターンに対して、どの程度頑健で汎用的か？
• RQ3 U-Netモデルは、自動TEM画像解析パイプラインにおける手動介入をどの程度低減できるか？
• RQ4 科学的画像処理応用で一般的な限られたラベル付きデータセットにおいて、モデルはどの程度の性能を発揮するか？

主な発見

• U-Netモデルは、特に非周期的で複雑な汚染パターンを示す領域において、ブレッグフィルタリングよりも顕著に高いセグメンテーション精度を達成する。
• 深層学習アプローチは、電子線線量の変動や画像全体にわたるビーム誘発強度勾配に対してより頑健である。
• 再トレーニングなしで、異なるグラファイトの結晶粒界や汚染形態に対しても、U-Netモデルは良好な汎化性能を示す。
• 手動セグメンテーションの必要性が低減され、大規模なTEMデータセットに対する完全自動解析パイプラインの実現が可能になる。
• 著者らは、U-Netモデルおよびトレーニングパイプラインのオープンソースコードを提供しており、科学コミュニティによる再利用および拡張を促進する。
• U-Netアプローチにより、結晶粒界などの原子スケール欠陥特徴を覆す汚染層の信頼性の高い検出が可能になる。