[论文解读] Finding simplicity: unsupervised discovery of features, patterns, and order parameters via shift-invariant variational autoencoders

Maxim Ziatdinov, Chun Yin Wong+1 more|arXiv (Cornell University)|Jun 23, 2021

Advanced Electron Microscopy Techniques and Applications被引用 8

一句话总结

本文提出了一种平移不变变分自编码器（shift-VAE），用于无监督地发现扫描探针显微镜和电子显微镜数据中的重复结构特征、模式及序参数。通过在位置不确定性与形状重建之间取得平衡，shift-VAE 能够将周期性结构与漂移及对比度变化分离，从而在 1D、合成 2D 以及实验性 STM 和 STEM 图像中稳健检测物理序参数。

ABSTRACT

Recent advances in scanning tunneling and transmission electron microscopies (STM and STEM) have allowed routine generation of large volumes of imaging data containing information on the structure and functionality of materials. The experimental data sets contain signatures of long-range phenomena such as physical order parameter fields, polarization and strain gradients in STEM, or standing electronic waves and carrier-mediated exchange interactions in STM, all superimposed onto scanning system distortions and gradual changes of contrast due to drift and/or mis-tilt effects. Correspondingly, while the human eye can readily identify certain patterns in the images such as lattice periodicities, repeating structural elements, or microstructures, their automatic extraction and classification are highly non-trivial and universal pathways to accomplish such analyses are absent. We pose that the most distinctive elements of the patterns observed in STM and (S)TEM images are similarity and (almost-) periodicity, behaviors stemming directly from the parsimony of elementary atomic structures, superimposed on the gradual changes reflective of order parameter distributions. However, the discovery of these elements via global Fourier methods is non-trivial due to variability and lack of ideal discrete translation symmetry. To address this problem, we develop shift-invariant variational autoencoders (shift-VAE) that allow disentangling characteristic repeating features in the images, their variations, and shifts inevitable for random sampling of image space. Shift-VAEs balance the uncertainty in the position of the object of interest with the uncertainty in shape reconstruction. This approach is illustrated for model 1D data, and further extended to synthetic and experimental STM and STEM 2D data.

研究动机与目标

• 解决在大规模扫描显微镜数据集中自动识别重复结构模式和序参数的挑战。
• 克服全局傅里叶方法在平移对称性不完美或可变时检测周期性的局限性。
• 开发一种深度生成模型，将形状特征与空间位移及成像伪影解耦。
• 实现从原始成像数据中无监督发现物理序参数场，无需预先标注。
• 提供一种通用且可扩展的框架，适用于 STM 和 (S)TEM 等多种材料显微成像模式。

提出的方法

• 提出一种显式将空间位移建模为潜在变量的平移不变变分自编码器（shift-VAE）架构。
• 引入一种改进的重参数化技巧，以处理潜在空间中的连续位移，实现端到端训练并使用可微操作。
• 通过优化具有平移不变归纳偏置的变分下界，平衡重建精度与位置不确定性的权衡。
• 使用共享编码器将输入图像映射到潜在空间，使特征对平移保持不变，同时在独立的潜在代码中保留位移信息。
• 通过重建损失与促进形状与位移分量之间解耦的正则化项组合进行模型训练。
• 将模型应用于 1D 模型数据、合成 2D 图像以及真实实验性 STM 和 STEM 数据集，以验证其鲁棒性与发现能力。

实验结果

研究问题

• RQ1 如何在无预先标注的情况下，自动从噪声大且受漂移影响的扫描显微镜图像中发现周期性结构特征？
• RQ2 深度生成模型在实验成像数据中，能在多大程度上将形状特征与空间位移及对比度变化解耦？
• RQ3 平移不变变分自编码器能否可靠地从原始显微镜数据中识别物理序参数场？
• RQ4 当平移对称性不完美时，shift-VAE 与传统基于傅里叶的方法在检测周期性方面有何对比？
• RQ5 解耦的潜在表示在揭示如应变梯度或极化场等潜在物理模式方面起什么作用？

主要发现

• shift-VAE 在 1D 和 2D 合成数据中成功将重复结构图样与空间位移及成像伪影解耦。
• 该模型在实验性 STM 和 STEM 图像中检测到被漂移和对比度漂移掩盖的微弱周期性模式，优于标准傅里叶分析。
• 潜在空间的解耦使得序参数场可通过潜在代码中的连续位移可视化，反映出底层物理梯度。
• 通过学习的平移不变特征，该方法在 STM 数据中识别出驻波电子态和载流子介导的相互作用。
• shift-VAE 对图像失真和对比度变化具有鲁棒性，在非理想采样条件下仍能保持特征发现能力。
• 定量评估表明，与基线 VAE 和基于傅里叶的方法相比，该方法在基准数据集上实现了更高的重建保真度和特征清晰度。