[論文レビュー] Deep Learning Supersampled Scanning Transmission Electron Microscopy

Jeffrey M. Ede|arXiv (Cornell University)|Oct 23, 2019

Advanced Electron Microscopy Techniques and Applications参考文献 35被引用数 7

ひとこと要約

本稿では、極めて低密度なポイントスキャンデータ（1/100画素のカバレッジまで）から高分解能STEM画像を再構築する2段階の生成的敵対ネットワーク（GAN）であるDeep Learning Supersampled Scanning Transmission Electron Microscopy（DLSS-STEM）を提案する。非敵対的学習方針と補助ネットワークを導入し、複数のカバレッジにおける一般化とノイズ耐性を向上させた。1/16画素のカバレッジでは3.23%、1/100画素のカバレッジでは4.54%の平均二乗誤差を達成し、個別に訓練されたモデルと比較して1%以内の誤差に収束した。

ABSTRACT

Compressed sensing can increase resolution, and decrease electron dose and scan time of electron microscope point-scan systems with minimal information loss. Building on a history of successful deep learning applications in compressed sensing, we have developed a two-stage multiscale generative adversarial network to supersample scanning transmission electron micrographs with point-scan coverage reduced to 1/16, 1/25, ..., 1/100 px. We propose a novel non-adversarial learning policy to train a unified generator for multiple coverages and introduce an auxiliary network to homogenize prioritization of training data with varied signal-to-noise ratios. This achieves root mean square errors of 3.23% and 4.54% at 1/16 px and 1/100 px coverage, respectively; within 1% of errors for networks trained for each coverage individually. Detailed error distributions are presented for unified and individual coverage generators, including errors per output pixel. In addition, we present a baseline one-stage network for a single coverage and investigate numerical precision for web serving. Source code, training data, and pretrained models are publicly available at https://github.com/Jeffrey-Ede/DLSS-STEM

研究の動機と目的

• 走査型透過電子顕微鏡（STEM）における電子線線量とスキャン時間を低減させながら、高分解能画像の品質を維持すること。
• 1/16画素から1/100画素までの広範なスキャンカバレッジ（信号対雑音比が著しく異なる）にわたる一般化を実現する1つのディープラーニングモデルの訓練における課題に対処すること。
• 実測誤差のトレンドに基づいて損失をスケーリングすることで、低カバレッジでの性能劣化を回避する統合的訓練フレームワークの構築。
• 試料の劣化や破壊後でも、低カバレッジスキャンからの高分解能画像の後処理再構築を可能にすること。
• ウェブベースのデプロイメントを想定した数値精度のトレードオフを調査し、16ビット推論が最小限の精度損失で実用可能であることを示すこと。

提案手法

• 2段階のマルチスケールGANアーキテクチャを採用。内部ジェネレータが粗い特徴を生成し、外部ジェネレータがそれらを高分解能出力に精錬する。
• 複数のカバレッジにわたる統合ジェネレータの訓練を可能にする、新しい非敵対的学習方針を導入。敵対的損失の代わりに、学習率クリッピングを適応的に制御する（ALRC）ことで、学習の安定化を図る。
• 信号対雑音比が異なる訓練サンプル間での損失重みの均一化を図るため、補助ネットワークを導入。一般化性能の向上に寄与する。
• 入力画像は、まず最近傍補間により1/16、1/25、1/36、1/64、1/100画素カバレッジのシミュレートされた低カバレッジスキャンにダウンサンプリングされる。
• 損失は、$ p_{\text{raw}}(c) = 0.002211 - 0.037887c + 0.289451c^2 $ でフィッティングされた多項式関数を用いてスケーリングされ、全カバレッジにおける平均原始MSEで正規化され、最適化のバランスが取られる。
• 1段階のジェネレータも開発され、1カバレッジ用のベースラインとして用いられ、カバレッジごとに訓練した場合と同等の性能を示した。

実験結果

リサーチクエスチョン

• RQ1 1/16から1/100画素までの複数のスキャンカバレッジから、個別に訓練されたモデルと同等の性能で高分解能STEM画像を再構築できる1つのディープラーニングモデルは、実際に有効に機能するか？
• RQ2 低カバレッジで原始MSEが著しく増加する広範なスキャンカバレッジ間で、損失のバランスをどのようにとるか？
• RQ3 適応的学習率クリッピングを用いた提案された非敵対的学習方針は、従来のGAN訓練に比べ、再構築忠実度と一般化性能において優れているか？
• RQ4 特にビーム感受性な応用において、多様なノイズ特性と画像コンテンツを持つ未観測データに対して、モデルの性能はいかがなものか？
• RQ5 ウェブベースのデプロイメントを想定した場合、数値精度（32ビット対16ビット）が推論遅延と再構築精度に与える影響は何か？

主な発見

• 統合された2段階GANは、1/16画素カバレッジで3.23%、1/100画素カバレッジで4.54%の平均二乗誤差（RMSE）を達成し、カバレッジごとに個別に訓練されたモデルと1%以内の誤差に収束した。
• 提案された非敵対的学習方針と適応的学習率クリッピングにより、複数のカバレッジにわたる安定した学習が可能になり、カバレッジ固有のモデルと同等の再構築忠実度を維持した。
• 補助ネットワークは、信号対雑音比が異なる訓練サンプル間での損失重みの正規化に効果的に寄与し、明示的なノイズモデリングを必要とせずに一般化性能を向上させた。
• 1段階のジェネレータは、1カバレッジタスクにおいて2段階モデルと同等の性能を示し、軽量なベースラインとしての有効性を検証した。
• 16ビット推論では32ビットと比較して1%未満の追加誤差しか生じず、16ビット精度がウェブデプロイメントに実用的であることが示された。
• 再構築画像における空間相関は高く、ターゲット画像とダウンサンプリング画像間の平均絶対ラプラシアン比が0.93であった。これは構造的忠実度が保持されていることを示している。