[論文レビュー] Finding simplicity: unsupervised discovery of features, patterns, and order parameters via shift-invariant variational autoencoders

Maxim Ziatdinov, Chun Yin Wong+1 more|arXiv (Cornell University)|Jun 23, 2021

Advanced Electron Microscopy Techniques and Applications被引用数 8

ひとこと要約

本稿では、走査プローブ顕微鏡および電子顕微鏡データにおける繰り返し構造的特徴、パターン、および秩序パラメータを教師なしで同定するため、シフト不変変分オートエンコーダ（shift-VAE）を導入する。位置の不確実性と形状再構成のバランスを取ることで、shift-VAEはドリフトやコントラスト変動から周期的構造を分離し、1次元および実験的2次元STMおよびSTEM画像において物理的秩序パラメータを強固に検出可能にする。

ABSTRACT

Recent advances in scanning tunneling and transmission electron microscopies (STM and STEM) have allowed routine generation of large volumes of imaging data containing information on the structure and functionality of materials. The experimental data sets contain signatures of long-range phenomena such as physical order parameter fields, polarization and strain gradients in STEM, or standing electronic waves and carrier-mediated exchange interactions in STM, all superimposed onto scanning system distortions and gradual changes of contrast due to drift and/or mis-tilt effects. Correspondingly, while the human eye can readily identify certain patterns in the images such as lattice periodicities, repeating structural elements, or microstructures, their automatic extraction and classification are highly non-trivial and universal pathways to accomplish such analyses are absent. We pose that the most distinctive elements of the patterns observed in STM and (S)TEM images are similarity and (almost-) periodicity, behaviors stemming directly from the parsimony of elementary atomic structures, superimposed on the gradual changes reflective of order parameter distributions. However, the discovery of these elements via global Fourier methods is non-trivial due to variability and lack of ideal discrete translation symmetry. To address this problem, we develop shift-invariant variational autoencoders (shift-VAE) that allow disentangling characteristic repeating features in the images, their variations, and shifts inevitable for random sampling of image space. Shift-VAEs balance the uncertainty in the position of the object of interest with the uncertainty in shape reconstruction. This approach is illustrated for model 1D data, and further extended to synthetic and experimental STM and STEM 2D data.

研究の動機と目的

• 大規模な走査顕微鏡データセットにおいて、繰り返し構造的パターンおよび秩序パラメータを自動的に同定する課題に対処すること。
• 並進対称性が不完全または可変な場合に、グローバルなフーリエ法の限界を克服すること。
• 形状特徴を空間的シフトおよび画像アーチファクトから分離する深層生成モデルを開発すること。
• 事前のラベルなしで、生の画像データから物理的秩序パラメータ場を教師なしで発見可能にする。
• STMおよび（S）TEMを含む多様な材料顕微鏡モダリティに適用可能な汎用的かつスケーラブルなフレームワークを提供すること。

提案手法

• 空間的シフトを潜在変数として明示的にモデル化する、シフト不変変分オートエンコーダ（shift-VAE）アーキテクチャを提案する。
• 連続的なシフトを処理するための修正された再パラメトリゼーショントリックを導入し、微分可能演算を用いたエンドツーエンド学習を可能にする。
• 位置の不確実性と再構成精度のトレードオフを、シフト不変のインダクティブバイアスを有する変分下界最適化によってバランスさせる。
• 特徴が並進に対して不変であるように潜在空間にマップする共通エンコーダを用い、同時に別個の潜在コードにシフト情報を保持する。
• 再構成損失と、形状とシフト成分の分離を促進する正則化項の組み合わせによりモデルを学習する。
• 1次元モデルデータ、合成2次元画像、および実験的STMおよびSTEMデータセットを用いて、モデルの頑健性と発見能力を検証する。

実験結果

リサーチクエスチョン

• RQ1 ノイズが多く、ドリフトが生じる走査顕微鏡画像において、事前のラベルなしに周期的構造的特徴を自動的に同定する方法は何か？
• RQ2 深層生成モデルは、実験的画像データにおいて、形状特徴を空間的シフトおよびコントラスト変動からどの程度分離できるか？
• RQ3 シフト不変変分オートエンコーダは、生の顕微鏡データから物理的秩序パラメータ場を信頼性高く同定できるか？
• RQ4 並進対称性が不完全な状況において、shift-VAEは従来のフーリエベース手法と比較して、周期性検出においてどの程度優れているか？
• RQ5 分離された潜在表現は、ひずみ勾配や分極場などの下位物理的パターンを明らかにする上で果たす役割は何か？

主な発見

• shift-VAEは、1次元および2次元の合成データにおいて、空間的シフトおよび画像アーチファクトから繰り返し構造的モチーフを成功裏に分離した。
• モデルは、ドリフトやコントラストドリフトにかき消されてしまう微細な周期的パターンを、実験的STMおよびSTEM画像から検出でき、標準的なフーリエ解析を上回る性能を示した。
• 潜在空間の分離により、連続的なシフトとして秩序パラメータ場の可視化が可能となり、下位物理的勾配を反映した結果が得られた。
• 学習されたシフト不変特徴を通じて、STMデータにおける定在電子波およびキャリア媒介相互作用を同定した。
• shift-VAEは画像歪みや変動するコントラストに対しても頑健であり、非理想的なサンプリング条件下でも特徴の同定を維持した。
• 定量的評価により、ベンチマークデータセットにおいてベースラインVAEおよびフーリエベース手法と比較して、再構成忠実度と特徴の明瞭度が向上した。