[논문 리뷰] Limited Angle Tomography for Transmission X-Ray Microscopy Using Deep Learning

Yixing Huang, Shengxiang Wang외 2명|arXiv (Cornell University)|2020. 01. 08.

Medical Imaging Techniques and Applications참고 문헌 4인용 수 6

한 줄 요약

이 논문은 기계적 또는 물리적 제약으로 인해 샘플의 회전 범위가 제한된 경우, 전통적인 필터링 역투영(FBP)이 누락된 데이터로 인해 실패하는 3D 투과형 X선 현미경(TXM) 이미지 재구성에 깊이 학습 기반 방법을 제안한다. 합성 타원체 및 다중 카테고리 데이터에 대해 현실적인 노이즈를 고려해 훈련한 U-Net은 아티팩트를 줄이고 이미지 품질을 크게 향상시켜 합성 데이터에서 FBP 대비 RMSE는 54.5% 감소하고 SSIM은 47.2% 향상되었으며, 실제 초록색조류 세포에서 세포소기관의 3D 시각화를 명확히 가능하게 했다.

ABSTRACT

In transmission X-ray microscopy (TXM) systems, the rotation of a scanned sample might be restricted to a limited angular range to avoid collision to other system parts or high attenuation at certain tilting angles. Image reconstruction from such limited angle data suffers from artifacts due to missing data. In this work, deep learning is applied to limited angle reconstruction in TXMs for the first time. With the challenge to obtain sufficient real data for training, training a deep neural network from synthetic data is investigated. Particularly, the U-Net, the state-of-the-art neural network in biomedical imaging, is trained from synthetic ellipsoid data and multi-category data to reduce artifacts in filtered back-projection (FBP) reconstruction images. The proposed method is evaluated on synthetic data and real scanned chlorella data in $100^\circ$ limited angle tomography. For synthetic test data, the U-Net significantly reduces root-mean-square error (RMSE) from $2.55 imes 10^{-3}$ μm$^{-1}$ in the FBP reconstruction to $1.21 imes 10^{-3}$ μm$^{-1}$ in the U-Net reconstruction, and also improves structural similarity (SSIM) index from 0.625 to 0.920. With penalized weighted least square denoising of measured projections, the RMSE and SSIM are further improved to $1.16 imes 10^{-3}$ μm$^{-1}$ and 0.932, respectively. For real test data, the proposed method remarkably improves the 3-D visualization of the subcellular structures in the chlorella cell, which indicates its important value for nano-scale imaging in biology, nanoscience and materials science.

연구 동기 및 목표

• 기계적 또는 물리적 제약으로 인해 샘플의 회전 범위가 제한된 경우 전도성 X선 현미경(TXM)에서 이미지 재구성의 과제를 해결한다.
• 특히 복잡한 생물학적 샘플에서 누락된 데이터로 인해 발생하는 심각한 아티팩트와 열악한 재구성 품질을 극복한다.
• 복잡한 생물학적 구조물에 대한 실제 훈련 데이터의 가용성이 제한됨에도 불구하고 잘 일반화되는 딥 러닝 접근법을 개발한다.
• 동기형 기반 TXM 시스템의 물리적 조건을 모의한 현실적인 노이즈 및 감쇠 모델을 적용한 합성 데이터로 훈련된 U-Net이 나노스케일 영상에서 고정밀도 3D 재구성에 가능하고 효과적인지 입증한다.

제안 방법

• 유사한 생물학적 형태를 반영하기 위해 타원체 및 다중 카테고리 물체에서 생성한 합성 데이터를 기반으로 U-Net 아키텍처를 훈련시킨다.
• 딥 러닝 재구성 이전에 측정된 프로젝션 데이터에 펜알라이즈드 무게화 최소 제곱(PWLS) 노이즈 제거를 적용하여 입력 품질을 향상시킨다.
• 이중 단계 접근법을 사용한다: 먼저 원시 프로젝션을 PWLS로 노이즈 제거하고, 그 결과를 U-Net에 입력하여 3D 볼륨을 종단 간 재구성한다.
• 동기형 기반 TXM 시스템의 물리적 조건을 모의하기 위해 현실적인 노이즈 및 감쇠 모델을 적용한 합성 데이터를 활용한다.
• 훈련 중에 예측된 3D 볼륨과 기준 진짜 값 간의 평균 제곱오차(MSE) 손실을 최적화하여 U-Net을 최적화한다.
• 기준 진짜 값이 알려진 합성 데이터와 안후이 과학연구소(NSRL)의 빔라인 BL07W에서 확보한 실제 초록색조류 데이터를 기반으로 방법을 평가한다.

실험 결과

연구 질문

• RQ1 합성 데이터 전용으로 훈련된 딥 네트워크가 아티팩트를 최소화하면서 한정된 각도 프로젝션에서 3D TXM 볼륨을 효과적으로 재구성할 수 있는가?
• RQ2 펜알라이즈드 무게화 최소 제곱(PWLS) 전처리가 한정된 각도 단층 촬영에서 딥 러닝 기반 재구성의 성능을 어느 정도 향상시키는가?
• RQ3 U-Net 기반 방법이 합성 및 실제 데이터에서 RMSE 및 SSIM 측면에서 기존의 필터링 역투영(FBP)과 정량적·정성적으로 어떻게 비교되는가?
• RQ4 딥 러닝 기반 재구성이 FBP 재구성에서 심하게 왜곡되거나 누락된 세포소기관 구조물(예: 지방체 및 세포벽)을 복원할 수 있는가?
• RQ5 실제 생물학적 샘플에서 한정된 각도와 데이터 절단이 동시에 존재하는 상황에서 딥 러닝 재구성의 한계는 무엇인가?

주요 결과

• 합성 테스트 데이터에서 U-Net은 FBP의 2.55×10⁻³ µm⁻¹에서 RMSE를 1.21×10⁻³ µm⁻¹으로 낮춰 52.5% 향상시켰다.
• 구조 유사성(SSIM) 지수는 FBP의 0.625에서 U-Net의 0.920으로 상승하여 구조의 정밀도 향상이 뚜렷하게 나타났다.
• PWLS 노이즈 제거를 U-Net 입력 이전에 적용한 결과, RMSE는 1.16×10⁻³ µm⁻¹으로 추가로 감소하고 SSIM은 0.932로 향상되어 전처리의 유용성을 입증했다.
• 실제 초록색조류 데이터에서 U-Net은 세포의 상부 및 하부 영역을 성공적으로 복원했으며, FBP에서 왜곡되거나 누락되었던 지방체를 거의 구형의 형태로 재구성했다.
• 3D 시각화 결과, FBP는 제한된 Sagittal 단면에서만 해상도를 유지하는 반면, U-Net 재구성은 모든 평면에서 명확하고 아티팩트 없는 세포소기관 시각화를 가능하게 했다.
• 개선된 성능에도 불구하고 세포벽과 같은 일부 구조물은 완벽하게 재구성되지 않아 노이즈, 데이터 부족 및 딥 러닝 모델의 과적합 가능성과 관련된 과제가 있음을 시사했다.