[논문 리뷰] Artifact Reduction in Undersampled 3D Cone-Beam CTs using a Hybrid 2D-3D CNN Framework

Johannes Thalhammer, Tina Dorosti외 4명|arXiv (Cornell University)|2026. 02. 09.

Medical Imaging Techniques and Applications인용 수 0

한 줄 요약

이 논문은 2D U-Net으로 조각별 특징을 추출하고 3D 디코더로 이를 융합하는 하이브드 2D-3D CNN 프레임워크를 제시하여 undersampled 3D cone-beam CT의 인공물을 감소시키면서 계산적 오버헤드를 낮게 유지합니다.

ABSTRACT

Undersampled CT volumes minimize acquisition time and radiation exposure but introduce artifacts degrading image quality and diagnostic utility. Reducing these artifacts is critical for high-quality imaging. We propose a computationally efficient hybrid deep-learning framework that combines the strengths of 2D and 3D models. First, a 2D U-Net operates on individual slices of undersampled CT volumes to extract feature maps. These slice-wise feature maps are then stacked across the volume and used as input to a 3D decoder, which utilizes contextual information across slices to predict an artifact-free 3D CT volume. The proposed two-stage approach balances the computational efficiency of 2D processing with the volumetric consistency provided by 3D modeling. The results show substantial improvements in inter-slice consistency in coronal and sagittal direction with low computational overhead. This hybrid framework presents a robust and efficient solution for high-quality 3D CT image post-processing. The code of this project can be found on github: https://github.com/J-3TO/2D-3DCNN_sparseview/.

연구 동기 및 목표

• 저속한 CT 볼륨에서의 인공물 감소를 촉진하여 더 빠른 취득과 더 낮은 방사선 노출을 가능하게 한다.
• 2D 슬라이스별 특징 추출과 3D 체적 디코딩을 결합한 하이브드 아키텍처를 제안한다.
• PSNR 및 SSIM 지표를 사용하여 희박 뷰 데이터에 대한 인공물 감소 성능을 평가한다.

제안 방법

• 512x512 축 slices에서 2D U-Net을 학습시켜 sparse-view 입력에서 인공물을 제거한다.
• 볼륨에서 2D 특징 맵을 추출하고 스택하여 3D 특징 표현을 형성한다.
• 3x3x3 컨볼루션의 3D 디코더를 사용하여 스택된 특징과 sparse 입력으로부터 인공물 감소된 3D 볼륨을 재구성한다.
• PSNR, SSIM 및 계산 시간 측면에서 2D 전용 포스트 프로세싱과 3D 디코더 포스트 프로세싱을 비교한다.

Fig. 1: Overview of the 2D-3D training pipeline. A) First, a 2D U-Net is trained on 2D axial slices to remove artifacts. B) The encoder of the trained U-Net is used to extract features at different levels of an entire CT volume by looping through $N$ axial slices. Subsequently, the extracted feature

실험 결과

연구 질문

• RQ1 hybrid 2D-3D CNN 프레임워크가 2D 또는 3D 모델만 있는 경우에 비해 undersampled cone-beam CT의 인공물 감소를 개선할 수 있는가?
• RQ2 2D 특징을 3D 표현으로 스택하는 것이 계산 부담 없이 체적 일관성 향상을 제공하는가?
• RQ3 제안된 접근 방식의 PSNR 및 SSIM에서의 정량적 이득과 런타임 트레이드오프는 어떠한가?

주요 결과

• 2D U-Net과 3D 디코더 모두 희소 뷰 재구성에 비해 PSNR 및 SSIM을 크게 향상시킨다.
• 축상에서 두 방법 모두 시각적으로 비교 가능한 인공물 감소를 보이며, 관상 및 시상면에서 3D 디코더가 더 우수한 슬라이스 간 일관성을 제공한다.
• 테스트 데이터에서의 PSNR: sparse-view 24.810 ± 0.522; 2D U-Net 39.289 ± 1.295; 3D decoder 38.086 ± 1.188.
• 테스트 데이터에서의 SSIM: sparse-view 0.637 ± 0.015; 2D U-Net 0.949 ± 0.015; 3D decoder 0.938 ± 0.016.
• 볼륨당 런타임: 2D U-Net 포스트 프로세싱 2.408 ± 0.651 초; 3D 디코더 포함 피처 추출 20.276 ± 5.768 초 (NVIDIA A100에서).

Fig. 2: An axial, coronal, and sagittal slice of the full-view reconstruction from the test split (first row), 128-view reconstruction (second row) with artifact reduction by the 2D U-Net (third row) and by the Hybrid 2D-3D CNN framework (last row), respectively. Images are in the mediastinum window