[논문 리뷰] TransCT: Dual-path Transformer for Low Dose Computed Tomography

Zhicheng Zhang, Lequan Yu외 3명|arXiv (Cornell University)|2021. 02. 28.

Medical Imaging Techniques and Applications참고 문헌 35인용 수 11

한 줄 요약

이 논문은 저선량 컴퓨터 단층촬영(LDCT) 영상 복원을 위한 이중 경로 Transformer 아키텍처인 TransCT를 제안한다. 이는 노이즈가 있는 LDCT 영상을 고주파(HF) 및 저주파(LF) 성분으로 분해하며, LF 부분으로부터 잠재적 무늬 특징을, HF 임bedding을 별도로 처리하여 복원한다. 내용 특징과 함께 조합하여 조각별 복원을 수행함으로써, Mayo LDCT 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, RMSE는 21.199 ± 2.054, SSIM은 0.933 ± 0.012를 기록하였다.

ABSTRACT

Low dose computed tomography (LDCT) has attracted more and more attention in routine clinical diagnosis assessment, therapy planning, etc., which can reduce the dose of X-ray radiation to patients. However, the noise caused by low X-ray exposure degrades the CT image quality and then affects clinical diagnosis accuracy. In this paper, we train a transformer-based neural network to enhance the final CT image quality. To be specific, we first decompose the noisy LDCT image into two parts: high-frequency (HF) and low-frequency (LF) compositions. Then, we extract content features (X_{L_c}) and latent texture features (X_{L_t}) from the LF part, as well as HF embeddings (X_{H_f}) from the HF part. Further, we feed X_{L_t} and X_{H_f} into a modified transformer with three encoders and decoders to obtain well-refined HF texture features. After that, we combine these well-refined HF texture features with the pre-extracted X_{L_c} to encourage the restoration of high-quality LDCT images with the assistance of piecewise reconstruction. Extensive experiments on Mayo LDCT dataset show that our method produces superior results and outperforms other methods.

연구 동기 및 목표

• X선 방사선 선량 감소로 인한 저선량 CT(LDCT) 영상 품질 저하 문제를 해결하기 위해.
• LDCT 영상 노이즈 제거에서 CNN의 장거리 상관관계 모델링 및 국소 수신장 제약의 한계를 극복하기 위해.
• 전역적 맥락과 무늬 정보를 활용하여 Transformer의 잠재력을 탐색하기 위해.
• 고주파 및 저주파 성분을 분리하여 처리하는 새로운 이중 경로 아키텍처를 통해 영상 품질을 향상시키기 위해.

제안 방법

• 다중 척도 특징 추출을 통해 노이즈가 있는 LDCT 영상을 고주파(HF) 및 저주파(LF) 성분으로 분해한다.
• 내용 특징($X_{L_c}$)과 잠재적 무늬 특징($X_{L_t}$)은 LF 성분에서 추출하고, 고주파 임베딩($X_{H_f}$)은 HF 성분에서 추출한다.
• 세 개의 인코더-디코더 블록을 갖는 수정된 Transformer가 $X_{L_t}$와 $X_{H_f}$를 별도의 시퀀스로 처리하여 고주파 무늬 특징을 정련한다.
• 정련된 고주파 무늬 특징은 $X_{L_c}$와 조합되어 잔차 블록과 서브픽셀 업샘플링 레이어를 포함하는 조각별 전략을 통해 복원된다.
• 예측 영상와 진짜 영상 간의 차이를 최소화하기 위해 재구성 손실을 사용하여 Mayo LDCT 데이터셋에서 엔드 투 엔드로 네트워크를 훈련시킨다.
• 이중 경로 설계는 LF 성분의 구조적 내용을 유지하면서도, 자기주의 기반 메커니즘을 통해 HF 성분의 미세 무늬를 향상시킬 수 있도록 한다.

실험 결과

연구 질문

• RQ1 CNN에 비해 장거리 상관관계를 효과적으로 모델링할 수 있는 Transformer 기반 아키텍처가 저선량 CT 영상에서 노이즈 제거 성능 향상에 기여하는가?
• RQ2 영상의 고주파 및 저주파 성분으로 분리하는 것이 LDCT 복원을 위한 무늬 및 내용 특징 학습에 어떻게 기여하는가?
• RQ3 조각별 복원 전략이 세밀한 영상 세부 사항을 유지하고 최종 영상 품질을 향상시키는 데 기여하는가?
• RQ4 LF 및 HF 성분을 별도로 처리하는 이중 경로 설계가 공동 처리와 비교해 복원 정확도와 노이즈 억제 측면에서 어떻게 성능을 내는가?

주요 결과

• TransCT는 Mayo LDCT 데이터셋에서 RMSE 21.199 ± 2.054를 기록하여 잔차 학습 및 웨이블릿 기반 CNN을 사용한 기준 모델들을 초월하였다.
• SSIM 값이 0.933 ± 0.012로 나타나, 진짜 영상과의 높은 유사성과 강력한 구조적 보존 능력을 보였다.
• 제거 실험 결과, 조각별 복원 전략을 제거할 경우 수렴 속도가 느려지고 RMSE가 높아지며, 세부 정보 복구에 중요한 역할을 함을 확인하였다.
• Transformer 모듈과 이중 경로 모듈을 모두 포함한 전체 TransCT 모델이 최고의 성능을 보였으며, RMSE 21.199 ± 2.054, SSIM 0.933 ± 0.012, VIF 0.144 ± 0.025를 기록하였다.
• 모델 크기를 증가시킬수록(예: 은닉 차원 8c) 수렴 성능이 향상되고 RMSE가 감소하여 능력 향상의 이점을 확인하였다.
• Transformer 모듈 또는 이중 경로 모듈을 제거할 경우 성능 저하가 발생하였으며, w/o transformer module일 경우 RMSE 22.62 ± 2.068, w/o dual-path module일 경우 RMSE 21.711 ± 1.997를 기록하였다.