[논문 리뷰] Finding simplicity: unsupervised discovery of features, patterns, and order parameters via shift-invariant variational autoencoders

Maxim Ziatdinov, Chun Yin Wong외 1명|arXiv (Cornell University)|2021. 06. 23.

Advanced Electron Microscopy Techniques and Applications인용 수 8

한 줄 요약

이 논문은 스캐닝 프로브 및 전자현미경 데이터에서 반복적인 구조적 특징, 패턴 및 순서 매개변수를 비지도적으로 발견하기 위해 이동 불변 변분 오토에인셔(Shift-VAE)를 도입한다. 위치 불확실성과 형태 복원 간의 균형을 맞추어, 드리프트 및 대trast 변화로부터 주기적인 구조를 분리함으로써 1차원, 합성 및 실험적 2차원 STM 및 STEM 영상에서 물리적 순서 매개변수를 견고하게 탐지할 수 있다.

ABSTRACT

Recent advances in scanning tunneling and transmission electron microscopies (STM and STEM) have allowed routine generation of large volumes of imaging data containing information on the structure and functionality of materials. The experimental data sets contain signatures of long-range phenomena such as physical order parameter fields, polarization and strain gradients in STEM, or standing electronic waves and carrier-mediated exchange interactions in STM, all superimposed onto scanning system distortions and gradual changes of contrast due to drift and/or mis-tilt effects. Correspondingly, while the human eye can readily identify certain patterns in the images such as lattice periodicities, repeating structural elements, or microstructures, their automatic extraction and classification are highly non-trivial and universal pathways to accomplish such analyses are absent. We pose that the most distinctive elements of the patterns observed in STM and (S)TEM images are similarity and (almost-) periodicity, behaviors stemming directly from the parsimony of elementary atomic structures, superimposed on the gradual changes reflective of order parameter distributions. However, the discovery of these elements via global Fourier methods is non-trivial due to variability and lack of ideal discrete translation symmetry. To address this problem, we develop shift-invariant variational autoencoders (shift-VAE) that allow disentangling characteristic repeating features in the images, their variations, and shifts inevitable for random sampling of image space. Shift-VAEs balance the uncertainty in the position of the object of interest with the uncertainty in shape reconstruction. This approach is illustrated for model 1D data, and further extended to synthetic and experimental STM and STEM 2D data.

연구 동기 및 목표

• 대규모 스캐닝 현미경 데이터셋에서 반복적인 구조적 패턴과 순서 매개변수를 자동으로 식별하는 도전 과제를 해결한다.
• 이동 대칭성이 불완전하거나 변동성이 있는 경우, 전역 푸리에 방법의 검출 한계를 극복한다.
• 형태 특징을 공간 이동과 이미징 잡음에서 분리하는 딥 생성 모델을 개발한다.
• 사전 레이블링 없이도 원시 이미징 데이터에서 물리적 순서 매개변수 필드를 비지도로 발견할 수 있도록 한다.
• STM 및 (S)TEM과 같은 다양한 재료 이미징 모달리티에 적용 가능한 일반적이고 확장 가능한 프레임워크를 제공한다.

제안 방법

• 공간 이동을 잠재 변수로 명시적으로 모델링하는 이동 불변 변분 오토에인셔(Shift-VAE) 아키텍처를 제안한다.
• 연속적인 이동을 처리하기 위해 수정된 재구성 기법을 도입하여, 미분 가능한 연산을 통해 엔드 투 엔드 학습을 가능하게 한다.
• 이동 불변 인도크티브 바이어스를 포함한 변분 하한을 최적화하여 복원 정확도와 위치 불확실성 간의 트레이드오프를 균형 잡는다.
• 공유 인코더를 사용하여 입력 영상을 잠재 공간으로 매핑함으로써, 형태 특징가 이동에 대해 불변이 되도록 하되, 별도의 잠재 코드에 이동 정보를 유지한다.
• 재구성 손실과 형태 및 이동 성분 간의 분리성을 촉진하는 정규화 항을 조합하여 모델을 학습한다.
• 모델을 1차원 모의 데이터, 합성 2차원 영상, 그리고 실제 실험적 STM 및 STEM 데이터셋에 적용하여 강인성과 특징 탐지 능력을 검증한다.

실험 결과

연구 질문

• RQ1 노이즈가 많고 드리프트가 영향을 주는 스캐닝 현미경 영상에서 사전 레이블링 없이 주기적인 구조적 특징을 자동으로 어떻게 탐지할 수 있는가?
• RQ2 딥 생성 모델은 실험적 이미징 데이터에서 형태 특징를 공간 이동과 대비 변화로부터 얼마나 잘 분리할 수 있는가?
• RQ3 이동 불변 변분 오토에인셔는 원시 현미경 데이터에서 물리적 순서 매개변수 필드를 신뢰성 있게 식별할 수 있는가?
• RQ4 이동 대칭성이 불완전할 경우, 기존의 푸리에 기반 방법과 비교해 shift-VAE는 주기성 탐지에서 어떤가?
• RQ5 분리된 잠재 표현은 응력 기울기나 분극 필드와 같은 기초 물리 패턴을 드러내는 데 어떤 역할을 하는가?

주요 결과

• Shift-VAE는 1차원 및 2차원 합성 데이터에서 공간 이동과 이미징 잡음으로부터 반복적인 구조적 모티프를 성공적으로 분리한다.
• 모델은 드리프트와 대비 드리프트로 인해 가려진 실험적 STM 및 STEM 영상에서 미세한 주기적 패턴을 탐지하며, 표준 푸리에 분석보다 뛰어난 성능을 보인다.
• 잠재 공간의 분리가 가능해 순서 매개변수 필드가 잠재 코드의 연속적 이동으로 시각화되며, 이는 기초 물리 기울기를 반영한다.
• 학습된 이동 불변 특징를 통해 STM 데이터에서 정적 전자파와 캐리어 매개 상호작용을 식별한다.
• Shift-VAE는 이미지 왜곡과 변동하는 대비에 대해 강인하며, 비이상적인 샘플링 조건에서도 특징 탐지 능력을 유지한다.
• 정량적 평가에서 베이스라인 VAE 및 푸리에 기반 접근법 대비 개선된 재구성 정확도와 특징 명료도를 보였다.