[논문 리뷰] Deep Learning Supersampled Scanning Transmission Electron Microscopy

Jeffrey M. Ede|arXiv (Cornell University)|2019. 10. 23.

Advanced Electron Microscopy Techniques and Applications참고 문헌 35인용 수 7

한 줄 요약

이 논문은 심층 학습 초해상도 스캐닝 투과전자현미경(Deep Learning Supersampled Scanning Transmission Electron Microscopy, DLSS-STEM)을 제안한다. 이는 심층 학습 기반의 이중 단계 생성 적대 신경망(GAN)으로, 1/100 픽셀 커버리지에 이르기까지 극도로 저조도의 점 스캔 데이터에서 고해상도 STEM 영상을 복원한다. 이로 인해 1/16 픽셀 커버리지 시 3.23%, 1/100 픽셀 커버리지 시 4.54%의 평균 제곱근 오차(RMSE)를 기록하며, 개별 커버리지별로 훈련된 모델과 1% 이내로 유사한 성능을 달성한다. 이는 새로운 비적대적 학습 정책과 보조 네트워크를 통해 다중 커버리지 일반화 및 노이즈에 대한 강건성을 확보함으로써 가능해졌다.

ABSTRACT

Compressed sensing can increase resolution, and decrease electron dose and scan time of electron microscope point-scan systems with minimal information loss. Building on a history of successful deep learning applications in compressed sensing, we have developed a two-stage multiscale generative adversarial network to supersample scanning transmission electron micrographs with point-scan coverage reduced to 1/16, 1/25, ..., 1/100 px. We propose a novel non-adversarial learning policy to train a unified generator for multiple coverages and introduce an auxiliary network to homogenize prioritization of training data with varied signal-to-noise ratios. This achieves root mean square errors of 3.23% and 4.54% at 1/16 px and 1/100 px coverage, respectively; within 1% of errors for networks trained for each coverage individually. Detailed error distributions are presented for unified and individual coverage generators, including errors per output pixel. In addition, we present a baseline one-stage network for a single coverage and investigate numerical precision for web serving. Source code, training data, and pretrained models are publicly available at https://github.com/Jeffrey-Ede/DLSS-STEM

연구 동기 및 목표

• 스캐닝 투과전자현미경(STEM)에서 전자 용량과 스캔 시간을 줄이면서도 고해상도 영상 품질을 유지하는 것.
• 다양한 커버리지 수준(1/16에서 1/100 픽셀) 간에 크게 다름에도 불구하고 신호 대 잡음비가 다른 상황에서 단일 심층 학습 모델이 일반화할 수 있도록 하는 도전 과제를 해결하는 것.
• 실제 오차 추세를 기반으로 손실를 스케일링하여 저커버리지에서 성능 저하가 발생하지 않도록 하는 통합 훈련 프레임워크를 개발하는 것.
• 표본이 손상되거나 파손된 후에도 저커버리지 스캔 데이터에서 고해상도 STEM 영상을 후처리 복원할 수 있도록 하는 것.
• 웹 기반 배포를 위한 수치 정밀도의 상호 교환 가능성을 조사하며, 16비트 추론이 최소한의 정확도 손실로 가능함을 보여주는 것.

제안 방법

• 이중 단계 다중 해상도 GAN 아키텍처를 사용하며, 내부 생성자(generator)가 거친 특징을 생성하고 외부 생성자가 이를 전체 해상도 출력으로 정밀화한다.
• 다양한 커버리지 수준에서 통합된 생성자를 훈련하기 위해 새로운 비적대적 학습 정책을 도입하였으며, 훈련을 안정화시키기 위해 적대적 손실 대신 적응형 학습률 클리핑(Adaptive Learning Rate Clipping, ALRC)을 사용한다.
• 다양한 신호 대 잡음비를 가진 훈련 샘플 간의 손실 가중치를 동일하게 맞추기 위해 보조 네트워크를 활용하여 일반화 성능을 향상시켰다.
• 입력 영상은 먼저 가장 가까운 이웃 보간법을 사용해 1/16, 1/25, 1/36, 1/64, 1/100 픽셀 커버리지 수준의 저커버리지 스캔을 시뮬레이션한다.
• 손실는 적합된 다항식 함수 $ p_{\text{raw}}(c) = 0.002211 - 0.037887c + 0.289451c^2 $ 를 사용해 스케일링되며, 모든 커버리지 수준의 원시 MSE 평균으로 정규화되어 최적화를 균형 있게 유지한다.
• 단일 단계 생성자도 개발되었으며, 이는 단일 커버리지 응용을 위한 베이스라인으로서, 커버리지별로 훈련된 경우 이중 단계 모델과 유사한 성능을 보였다.

실험 결과

연구 질문

• RQ1 단일 심층 학습 모델이 1/16에서 1/100 픽셀 커버리지 수준의 다양한 스캔 커버리지에서 개별적으로 훈련된 모델과 유사한 성능으로 고해상도 STEM 영상을 효과적으로 복원할 수 있는가?
• RQ2 저커버리지에서 원시 MSE가 크게 증가하는 상황에서, 다양한 커버리지 수준 간의 훈련 손실을 어떻게 균형 있게 조정할 수 있는가?
• RQ3 적응형 학습률 클리핑을 포함한 제안된 비적대적 학습 정책이 기존 GAN 훈련 방식에 비해 재구성 정확도와 일반화 능력 측면에서 얼마나 뛰어난가?
• RQ4 특히 전자 광선에 민감한 응용 분야에서, 다양한 노이즈 특성과 영상 콘텐츠를 가진 미사용 데이터에 대해 모델의 성능은 어떠한가?
• RQ5 웹 기반 배포를 고려할 때 수치 정밀도(32비트 대 16비트)가 추론 지연 시간과 재구성 정확도에 어떤 영향을 미치는가?

주요 결과

• 통합된 이중 단계 GAN은 1/16 픽셀 커버리지 시 3.23%의 평균 제곱근 오차(RMSE), 1/100 픽셀 커버리지 시 4.54%의 RMSE를 기록하며, 개별 커버리지별로 훈련된 모델과 1% 이내로 유사한 성능을 달성한다.
• 제안된 비적대적 학습 정책과 적응형 학습률 클리핑을 통해 다양한 커버리지에서 안정적인 훈련이 가능했으며, 커버리지별 전용 모델과 유사한 재구성 정확도를 유지하였다.
• 보조 네트워크가 다양한 신호 대 잡음비를 가진 훈련 샘플 간의 손실 가중치를 효과적으로 정규화하여 일반화 성능을 향상시켰으며, 노이즈 모델링을 명시적으로 요구하지 않았다.
• 단일 단계 생성자는 단일 커버리지 작업에서 이중 단계 모델과 유사한 성능을 보였으며, 이는 경량 베이스라인으로서의 유용성을 검증하였다.
• 16비트 추론은 32비트 대비 1% 미만의 추가 오차를 유발하며, 이는 16비트 정밀도가 웹 기반 배포에 있어 충분히 충족되며 지연 시간을 줄일 수 있음을 시사한다.
• 재구성된 영상 간의 공간 상관관계는 높았으며, 목표 영상와 내림표본 영상 간 평균 절대 라플라시안 비율이 0.93로 측정되어 구조적 품질이 잘 유지됨을 나타낸다.