[논문 리뷰] Physical model simulator-trained neural network for computational 3D phase imaging of multiple-scattering samples

Alex Matlock, Lei Tian|arXiv (Cornell University)|2021. 03. 29.

Digital Holography and Microscopy참고 문헌 51인용 수 6

한 줄 요약

이 논문은 다중산산 생물 샘플의 빠르고 정확한 3D 위상 영상 촬영을 가능하게 하는 물리 시뮬레이터로 훈련된 딥 러닝 프레임워크를 제안한다. 이는 고리형 강도 회절 단층촬영(aIDT)과 경량 2D U-Net 아키텍처를 결합한 것으로, 자연 이미지에서 다중산산 전진 모델을 사용해 훈련 데이터를 생성하고, 입력 정규화에 모델 기반 선형 피팅을 적용하며, 살아있는 세포와 동적 샘플에서 높은 정량적 정확도로 강인하고 일반화 가능한 재구성을 달성한다.

ABSTRACT

Recovering 3D phase features of complex, multiple-scattering biological samples traditionally sacrifices computational efficiency and processing time for physical model accuracy and reconstruction quality. This trade-off hinders the rapid analysis of living, dynamic biological samples that are often of greatest interest to biological research. Here, we overcome this bottleneck by combining annular intensity diffraction tomography (aIDT) with an approximant-guided deep learning framework. Using a novel physics model simulator-based learning strategy trained entirely on natural image datasets, we show our network can robustly reconstruct complex 3D biological samples of arbitrary size and structure. This approach highlights that large-scale multiple-scattering models can be leveraged in place of acquiring experimental datasets for achieving highly generalizable deep learning models. We devise a new model-based data normalization pre-processing procedure for homogenizing the sample contrast and achieving uniform prediction quality regardless of scattering strength. To achieve highly efficient training and prediction, we implement a lightweight 2D network structure that utilizes a multi-channel input for encoding the axial information. We demonstrate this framework's capabilities on experimental measurements of epithelial buccal cells and Caenorhabditis elegans worms. We highlight the robustness of this approach by evaluating dynamic samples on a living worm video, and we emphasize our approach's generalizability by recovering algae samples evaluated with different experimental setups. To assess the prediction quality, we develop a novel quantitative evaluation metric and show that our predictions are consistent with our experimental measurements and multiple-scattering physics.

연구 동기 및 목표

• 복잡한 다중산산 생물 샘플의 3D 정량적 위상 영상 촬영에서 계산 효율성과 물리 모델 정확성 간의 상충 관계를 극복하기 위해.
• 실험적 기준값 데이터셋이 필요 없이도 동적이고 다양한 생물학적 샘플에서 빠르고 일반화 가능한 3D 위상 재구성을 가능하게 하기 위해.
• 훈련에 실제 실험 데이터 대신 시뮬레이션된 다중산산 물리 모델을 활용하는 데이터 효율적인 딥 러닝 프레임워크를 개발하기 위해.
• 새로운 모델 기반 데이터 정규화 절차를 통해 다양한 산산 강도에서 일관된 예측 품질을 달성하기 위해.
• 다양한 실험 설정에서 C. elegans 웜과 조류와 같은 생체 동적 샘플에서 고성능 3D 위상 영상 촬영을 입증하기 위해.

제안 방법

• 물리 시뮬레이터 기반 훈련 전략이 자연 이미지에 무작위로 굴절률(RI) 값을 할당하여 시뮬레이션된 다중산산 전진 모델(SSNP)을 사용해 강도 측정값을 생성하고, aIDT 모델에서 선형 근사치를 계산함으로써 합성 훈련 데이터를 생성한다.
• 모델 기반 선형 피팅 절차가 강도 영상의 스펙트럼 크기에서 피크 RI를 추정하여 입력을 정규화함으로써 산산 강도에 관계없이 일관된 예측 품질을 달성한다.
• 축 방향 정보를 다중 채널 입력에 인코딩하는 경량 2D U-Net 아키텍처(초기 필터 수 128개 및 스킵 연결 포함)가 체크리스트 무늬 아티팩트를 방지하고 파rameter 수를 줄임으로써 다중 채널 입력을 처리한다.
• 네트워크는 평균 절대 오차(MAE) 손실, 10−3 학습률을 가진 ADAM 옵timizer, 100 에포크 동안 배치 크기 20으로 훈련되며, 일반화를 위해 각 미니배치마다 무작위로 잘린 슬라이스 서브볼륨을 사용한다.
• 네트워크는 다섯 개의 연속된 근사치 슬라이스에서 3D 볼륨의 중심 슬라이스를 예측하며, 2D 컨볼루션과 Leaky ReLU, 배치 정규화를 사용해 특징 학습을 수행한다.
• 활성화 함수 없이 1×1 컨볼루션을 적용하여 최종 RI 예측을 생성함으로써 음의 대비를 유지하고 엔드 투 엔드 회귀를 가능하게 한다.

실험 결과

연구 질문

• RQ1 물리적 다중산산 모델에서 유도된 시뮬레이션 데이터로만 훈련된 딥 러닝 모델이 실제 생물 샘플에서 일반화 가능한 3D 위상 재구성을 달성할 수 있는가?
• RQ2 산산 강도가 다른 샘플 간에 일관된 예측 품질을 확보하기 위해 입력 정규화는 어떻게 설계할 수 있는가?
• RQ3 다중 채널 입력에 축 방향 정보를 인코딩함으로써 2D 네트워크 아키텍처가 효과적으로 3D 위상 정보를 복구할 수 있는가?
• RQ4 단일산산 근사치와 비교했을 때 제안된 방법이 다중산산 샘플의 재구성 정확도와 깊이 분할 능력을 얼마나 향상시키는가?
• RQ5 모델은 동적 생체 샘플을 포함한 예상치 못한 생물학적 샘플과 실험 설정에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 간판 부두세포와 Caenorhabditis elegans 웜에서 강인한 3D 위상 재구성을 달성하였으며, 선형 aIDT 근사치와 비교해 깊이 분할 능력 향상과 기능 회복 향상이 뚜렷하다.
• 다양한 실험 설정에서 촬영한 조류 샘플에 대해서도 모델이 효과적으로 일반화되어 훈련 분포를 초월한 광범위한 적용 가능성을 보였다.
• 네트워크는 영상 시퀀스에서 C. elegans의 동적 움직임을 성공적으로 재구성하여 실시간, 시간적 연속 영상 촬영 능력을 확인하였다.
• 모델 기반 정규화 절차는 스펙트럼 크기와 피크 RI 간에 선형 관계를 확립하였으며(R² = 0.917), 다양한 산산 조건에서 일관된 입력 스케일링을 가능하게 하였다.
• 네트워크는 높은 예측 정확도를 달성하였으며, 정량적 평가에서 예측값과 실험 측정값 간 강력한 일致성을 보였다.
• 경량 2D 아키텍처는 높은 성능을 유지하면서도 3D 네트워크의 높은 계산 비용을 피하여 효율적인 훈련과 추론을 가능하게 하였다.