[논문 리뷰] Differentiable Forward Projector for X-ray Computed Tomography

Hyojin Kim, Kyle Champley|arXiv (Cornell University)|2023. 07. 11.

Medical Imaging Techniques and Applications인용 수 5

한 줄 요약

이 논문은 X선 컴퓨터 단층 촬영(XCT)을 위한 개방형, 미분 가능 forward 및 back projection 라이브러리인 LEAP를 소개한다. 이는 최소한의 GPU 메모리 사용량으로 종단 간(end-to-end) 딥 러닝 파이프라인을 가능하게 하며, 정확한 분리 가능한 발자국 프로젝터 모델을 사용해 평행 beam, 콘 beam, 임의의 소스-검출기 기하학을 지원한다. 이로 인해 국한된 각도나 희소 시야 CT 재구성에서 높은 성능과 데이터 일관성을 달성하며 PSNR 및 SSIM 향상이著명하다.

ABSTRACT

Data-driven deep learning has been successfully applied to various computed tomographic reconstruction problems. The deep inference models may outperform existing analytical and iterative algorithms, especially in ill-posed CT reconstruction. However, those methods often predict images that do not agree with the measured projection data. This paper presents an accurate differentiable forward and back projection software library to ensure the consistency between the predicted images and the original measurements. The software library efficiently supports various projection geometry types while minimizing the GPU memory footprint requirement, which facilitates seamless integration with existing deep learning training and inference pipelines. The proposed software is available as open source: https://github.com/LLNL/LEAP.

연구 동기 및 목표

• 딥 러닝 기반 CT 재구성에서 측정된 프로젝션과의 데이터 일관성을 유지할 수 있는 효율적이고, 미분 가능한 프로젝션 도구의 부족을 해결하기 위해.
• 특히 국한된 각도나 소수의 시야가 있는 CT와 같은 악조건 문제에서 종단 간 학습 및 추론 파이프라인의 GPU 메모리 사용량을 줄이기 위해.
• 한 개의 확장 가능한 소프트웨어 라이브러리 안에서 평행 beam, 콘 beam, 임의의 소스-검출기 구성의 다양한 3D CT 기하학을 지원하기 위해.
• 학습 및 추론 모두에서 PyTorch 기반 딥 러닝 프레임워크와 원활하게 통합되도록 하며, 데이터 일관성 손실 및 시노그램 보완 워크플로우를 지원하기 위해.
• 기존의 사전 계산된 행렬이나 기하학에 특화된 신경망에 의존하는 방법들에 비해 고정밀도, 개방형 대안을 제공하기 위해.

제안 방법

• 라이브러리는 분리 가능한 발자국(Separable Footprint, SF) 프로젝터 모델을 사용해, X선 프로젝션의 정확하고 효율적인 계산을 가능하게 하는, 미분 가능한 프로젝션 및 역프로젝션을 구현한다.
• 주요 기하학 세 가지를 지원한다: 평행 beam, 콘 beam, 사용자가 정의한 소스-검출기 쌍(임의의 위치 및 방향 포함).
• 텐서 기반 연산을 사용해 PyTorch 기반으로 제작되어, 딥 러닝 파이프라인에 자연스럽게 통합되고 자동 미분이 가능하다.
• 큰 희소 시스템 행렬을 저장하는 대신, 실시간으로 프로젝션 계수를 계산함으로써 GPU 메모리 사용량을 최소화한다.
• 예측된 볼륨을 프로젝션하여 측정된 시노그램과 비교함으로써, 데이터 일관성 손실을 사용한 종단 간 학습을 가능하게 한다.
• 역프로젝션 기능은 반복적 정밀 조정과 시노그램 보완을 지원하여, 악조건 재구성 상황에서 영상 품질을 향상시킨다.

Figure 1: Overview of the proposed differentiable CT projector software architecture.

실험 결과

연구 질문

• RQ1 최소한의 GPU 메모리 사용량으로 종단 간 딥 러닝을 위한 효율적인 프로젝션 도구를 미분 가능하게 어떻게 구현할 수 있는가?
• RQ2 제안된 분리 가능한 발자국 기반 프로젝터의 성능 및 정확도는 다양한 CT 기하학에서 기존 방법과 비교해 어떻게 되는가?
• RQ3 미분 가능한 프로젝션을 통한 데이터 일관성 통합이 국한된 각도나 소수의 시야가 있는 CT 재구성에서 영상 품질을 얼마나 향상시키는가?
• RQ4 이 소프트웨어 라이브러리는 외부 재구성 도구 없이도, 시노그램 보완 및 반복적 정밀 조정을 위한 원활한 통합 파이프라인을 구축하는 데 사용될 수 있는가?
• RQ5 제안된 방법은 복잡하거나 임의의 스캐너 기하학을 가진 고해상도 3D CT 재구성에 대해 확장 가능하고 실용적인가?

주요 결과

• 제안된 LEAP 라이브러리는 LTT 소프트웨어 도구 대비 프로젝션 속도를 2.5배에서 4배 빠르게 하였으며, 메모리 사용량도 크게 감소시켰다.
• 국한된 각도 CT 실험에서 LEAP를 사용한 데이터 일관성 단계는 평균 PSNR를 35.486 dB에서 36.350 dB로, SSIM을 0.905에서 0.911로 향상시켰다.
• 라이브러리는 다양한 이미지 크기와 프로젝션 수에서 일관된 성능을 보였으며, 512³/180 평행 beam 구성에선 1.5초, 1024³/720 콘 beam 구성에선 11.1초의 프로젝션 시간을 기록했다.
• LEAP의 메모리 프로필은 매우 낮았으며, 32비트 부동소수점 수준에서 볼륨 및 프로젝션 데이터의 복사본 한 개만 저장하면 되었고, 이는 이러한 연산의 이론적 최소값과 일치했다.
• 미분 가능한 프로젝터는 PyTorch 워크플로우에 효과적으로 통합되었으며, 데이터 일관성 손실을 사용한 학습과 반복적 정밀 조정을 통한 추론 모두를 지원했다.
• 변형된 벡셀 및 검출기 크기 조건에서도 수치 정확도를 유지하여 재구성 영상의 올바른 스케일링과 물리적 일관성을 보장했다.

Figure 2: Model training and inference with our CT Projectors