[논문 리뷰] Real-time sparse-sampled Ptychographic imaging through deep neural networks

Mathew J. Cherukara, Tao Zhou외 5명|arXiv (Cornell University)|2020. 04. 15.

Advanced X-ray Imaging Techniques인용 수 4

한 줄 요약

이 논문은 실시간 페르티오그래픽 영상 촬영을 가능하게 하는 딥 컨volution 신경망인 PtychoNN을 소개한다. 이는 원거리 회절 패tern을 직접 실공간의 물체 구조와 위상으로 매핑함으로써 이루어지며, 실험적 X선 페르티오그래피 데이터로 훈련된 PtychoNN는 최신의 반복적 방법보다 최대 300배 빠른 복원 속도를 달성하고, 50% 미만의 겹침을 가지는 부분 샘플링된 데이터를 성공적으로 역전환하여 민감하거나 대용량 샘플의 더 빠른, 저선량, 동적 영상 촬영을 가능하게 한다.

ABSTRACT

Ptychography has rapidly grown in the fields of X-ray and electron imaging for its unprecedented ability to achieve nano or atomic scale resolution while simultaneously retrieving chemical or magnetic information from a sample. A ptychographic reconstruction is achieved by means of solving a complex inverse problem that imposes constraints both on the acquisition and on the analysis of the data, which typically precludes real-time imaging due to computational cost involved in solving this inverse problem. In this work we propose PtychoNN, a novel approach to solve the ptychography reconstruction problem based on deep convolutional neural networks. We demonstrate how the proposed method can be used to predict real-space structure and phase at each scan point solely from the corresponding far-field diffraction data. The presented results demonstrate how PtychoNN can effectively be used on experimental data, being able to generate high quality reconstructions of a sample up to hundreds of times faster than state-of-the-art ptychography reconstruction solutions once trained. By surpassing the typical constraints of iterative model-based methods, we can significantly relax the data acquisition sampling conditions and produce equally satisfactory reconstructions. Besides drastically accelerating acquisition and analysis, this capability can enable new imaging scenarios that were not possible before, in cases of dose sensitive, dynamic and extremely voluminous samples.

연구 동기 및 목표

• 반복적 페르티오그래픽 위상 복원의 계산적 병목 현상을 극복하여 X선 및 전자 현미경에서 실시간 영상 촬영을 가능하게 한다.
• 반복적 방법에서 일반적인 50% 겹침 조건을 완화하고 희소 샘플링된 데이터로부터 고정밀 페르티오그래픽 복원을 가능하게 한다.
• 빠르고 엣지 장치에 배포 가능한 딥 러닝 솔루션을 개발하여 실험적 비드라인에서 실용적으로 사용하기 위해 최소한의 훈련 데이터를 요구한다.
• 어드밴스드 포톤 솔라의 실험 데이터를 사용하여 실세계 페르티오그래픽 영상 촬영을 위한 엔드 투 엔드 딥 러닝의 가능성을 입증한다.

제안 방법

• PtychoNN는 원시적인 원거리 회절 패턴에서 실공간의 진폭과 위상을 직접 매핑하는 데 목적이 있는 인코더-디코더 구조를 가진 딥 컨volution 신경망 아키텍처를 사용한다.
• 네트워크는 어드밴스드 포톤 솔라의 X선 나노프로브 비드라인(26-ID)에서 확보한 16,000개의 실험적 페르티오그래픽 회절 패턴을 사용하여 훈련된다.
• 훈련 데이터는 161×161 스캔 포인트, 30 nm 스텝 사이즈, 50% 겹침을 포함하며, 프레넬 존판으로 집중된 60 nm의 공진동 빛을 사용한다.
• 네트워크는 단일 프로퍼그레이션을 통해 동시에 물체의 진폭과 위상을 예측하도록 최적화되어 있어, 스캔 포인트당 약 1ms 내외의 추론 속도를 달성한다.
• 반복적 위상 복원을 회피하기 위해 데이터에서 직접 역매핑을 학습함으로써 겹침 조건이 필요 없어진다.
• 희소 촬영 조건을 시험하기 위해 부분 샘플링된 데이터(원래 샘플링의 1/5까지)를 사용하여 모델의 강인성을 평가한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 실험적 X선 회절 데이터로부터 실시간 페르티오그래픽 복원을 달성할 수 있는가?
• RQ2 PtychoNN는 50% 미만의 겹침을 가지는 부분 샘플링된 페르티오그래픽 데이터로부터 얼마나 정밀한 영상 복원을 수행할 수 있는가?
• RQ3 실용적인 환경에서 신뢰할 수 있는 복원을 달성하기 위해 PtychoNN는 얼마나 많은 훈련 데이터가 필요한가?
• RQ4 PtychoNN는 제한된 하드웨어에서 효율적으로 훈련되고 배포되어 비드라인에서 실시간 영상 촬영을 가능하게 할 수 있는가?

주요 결과

• PtychoNN는 최고 성능을 자랑하는 반복적 페르티오그래피 소프트웨어인 Ptycholib보다 최대 300배 빠른 복원 속도를 달성하며, 스캔 포인트당 약 1ms의 추론 시간을 기록한다.
• 네트워크는 단지 800개의 샘플로 훈련된 경우에도 고품질의 진폭 및 위상 복원을 생성하며, 단일 NVIDIA V100 GPU에서 1분 이내로 훈련이 완료된다.
• PtychoNN는 원래 샘플링 밀도의 1/5로 줄어든 데이터에서도 영상을 성공적으로 복원하며, 심한 부분 샘플링에도 정확도를 유지한다.
• 반복적 방법이 겹침이 50% 이하일 경우 실패하거나 아티팩트를 생성하는 데 반해, PtychoNN는 희소 촬영 조건에서도 정밀도를 유지하여 데이터 수집 감소에 대한 강인함을 입증한다.
• 다양한 샘플 특징에 대해 잘 일반화되며, 무작위 기능을 가진 Wolfram 테스트 패턴을 통해 다양한 구조에서 일관된 성능을 보였다.
• 이 방법은 방사선 노출을 크게 줄이고 촬영 시간을 단축시켜, 복잡하거나 동적인 샘플에 대한 실시간 피드백과 새로운 영상 촬영 시나리오를 가능하게 한다.