[논문 리뷰] DuDoTrans: Dual-Domain Transformer Provides More Attention for Sinogram Restoration in Sparse-View CT Reconstruction

Ce Wang, Kun Shang외 4명|arXiv (Cornell University)|2021. 11. 21.

Medical Imaging Techniques and Applications참고 문헌 43인용 수 20

한 줄 요약

DuDoTrans는 스위프트 트랜스포머 기반의 주의 메커니즘을 활용해 시노그램의 장거리 상관관계를 모델링하고, 이중 도메인 최적화를 통해 복원된 시노그램과 재구성된 이미지 간의 일관성을 강화함으로써 희박시야 CT 재구성에서 상태의 기술을 달성한다. 이는 더 적은 파라미터 수와 더 뛰어난 노이즈 수준 및 데이터셋 간의 견고성으로도 성능을 확보한다.

ABSTRACT

While Computed Tomography (CT) reconstruction from X-ray sinograms is necessary for clinical diagnosis, iodine radiation in the imaging process induces irreversible injury, thereby driving researchers to study sparse-view CT reconstruction, that is, recovering a high-quality CT image from a sparse set of sinogram views. Iterative models are proposed to alleviate the appeared artifacts in sparse-view CT images, but the computation cost is too expensive. Then deep-learning-based methods have gained prevalence due to the excellent performances and lower computation. However, these methods ignore the mismatch between the CNN's extbf{local} feature extraction capability and the sinogram's extbf{global} characteristics. To overcome the problem, we propose extbf{Du}al- extbf{Do}main extbf{Trans}former ( extbf{DuDoTrans}) to simultaneously restore informative sinograms via the long-range dependency modeling capability of Transformer and reconstruct CT image with both the enhanced and raw sinograms. With such a novel design, reconstruction performance on the NIH-AAPM dataset and COVID-19 dataset experimentally confirms the effectiveness and generalizability of DuDoTrans with fewer involved parameters. Extensive experiments also demonstrate its robustness with different noise-level scenarios for sparse-view CT reconstruction. The code and models are publicly available at https://github.com/DuDoTrans/CODE

연구 동기 및 목표

• 희박시야 CT 재구성에서 CNN의 국소적 특징 추출 방식과 시노그램의 전역적 샘플링 특성 간의 불일치 문제를 해결한다.
• 이미지 재구성 이전에 정보성 있는 시노그램을 복원하여 저선량 CT에서의 아티팩트와 노이즈를 완화한다.
• 통합된 트랜스포머 기반 프레임워크 내에서 시노그램 도메인과 이미지 도메인 최적화를 통합함으로써 재구성 품질과 견고성을 향상시킨다.
• 다양이 가능한 일관성 레이어를 통해 복원된 시노그램과 재구성된 이미지 간의 일관성을 확보한다.
• 다양한 데이터셋과 노이즈 조건에서 일반화 능력과 계산 효율성을 입증한다.

제안 방법

• 스위프트 트랜스포머의 시프트된 윈도우 자기주의에 기반한 시노그램 복원 트랜스포머(SRT) 모듈을 제안하여 시노그램 내 장거리 상관관계를 모델링한다.
• SRT를 잔차 이미지 재구성 모듈(RIRM)과 통합하여 원시 및 향상된 시노그램을 모두 활용해 이미지 재구성을 공동 최적화한다.
• 재구성된 이미지와 복원된 시노그램 간의 정렬을 향상시키기 위해 미분 가능한 이중 도메인 일관성 레이어를 설계한다.
• SRT와 RIRM을 통합하여 이중 도메인 감독 하에 엔드 투 엔드 학습이 가능한 통합 프레임워크인 DuDoTrans를 구성한다.
• 국소적 인덕티브 바이어스와 전역적 맥락 모델링을 동시에 활용하기 위해 패치 기반 연산을 통해 CNN과 트랜스포머의 장점을 적절히 활용한다.
• NIH-AAPM 및 코로나19 데이터셋에서 DuDoTrans를 학습 및 평가하여 CNN 기반, 트랜스포머 기반, 딥 언롤링 방법과 비교한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반의 시노그램 복원 모듈이 시노그램 데이터의 장거리 상관관계를 포착함으로써 희박시야 CT 재구성 성능을 향상시킬 수 있는가?
• RQ2 이중 도메인 프레임워크 내에서 시노그램 복원과 이미지 재구성의 통합이 재구성 품질과 견고성에 어떤 영향을 미치는가?
• RQ3 제안된 SRT 모듈이 CNN, 트랜스포머, 딥 언롤링 방법을 포함한 다양한 재구성 아키텍처에 일반화 가능한가?
• RQ4 다양이 가능한 일관성 레이어가 도메인 드리프트를 효과적으로 줄이고 복원된 시노그램과 재구성된 이미지 간의 정렬을 향상시키는가?
• RQ5 다양한 노이즈 수준과 희박시야 조건에서 DuDoTrans는 최첨단 방법 대비 성능, 파라미터 효율성, 추론 속도 측면에서 어떻게 비교되는가?

주요 결과

• NIH-AAPM 데이터셋에서 α_max = 96일 때 DuDoTrans는 PSNR 32.68 dB를 기록하여 ImgTrans(32.50 dB)와 FBPConvNet(31.47 dB)를 모두 초월한다.
• 동일한 데이터셋에서 DuDoTrans는 SSIM 0.9047을 달성하여 ImgTrans(0.9010)와 PDNet+SRT(0.9045)를 모두 능가한다.
• 포isson 노이즈 수준 1e5, 5e5, 1e6에서 DuDoTrans는 모든 α_max 설정에서 최고의 성능을 유지하며 노이즈에 대한 견고성을 입증한다.
• DuDoTrans-L1과 L2는 기준 모델 대비 더 적은 FLOPs로도 0.8–1.0 dB의 성능 향상을 달성하여 계산 효율성을 입증한다.
• 외부 분포(out-of-distribution) 코로나19 데이터셋에서 DuDoTrans는 CNN 기반 방법 대비 PSNR을 4–5 dB 향상시키며, ImgTrans를 0.4 dB 초월한다.
• 절단 실험 결과, SRT 모듈을 추가함으로써 CNN, 트랜스포머, 딥 언롤링 기반 기준 모델 전반에서 PSNR가 0.5–1.0 dB 향상됨을 확인하였다.