[논문 리뷰] Generative Adversarial Network-Based Sinogram Super-Resolution for Computed Tomography Imaging

Chao Tang, Wenkun Zhang외 5명|arXiv (Cornell University)|2020. 08. 06.

Advanced Image Processing Techniques참고 문헌 40인용 수 4

한 줄 요약

이 논문은 CT 영상에서 2×2 검출기 수집 방식에서 저해상도 시노그램을 향상시키기 위해 잔차 생성자와 상대적 판별자를 갖춘 생성적 적대적 네트워크(이하 SSR-GAN)를 제안한다. 다중 손실 감독을 통해 고해상도 시노그램을 생성함으로써 재구성된 영상 품질을 크게 향상시켜 디지털 및 실재 데이터에서 기존 방법들을 능가한다.

ABSTRACT

Compared with the conventional 1*1 acquisition mode of projection in computed tomography (CT) image reconstruction, the 2*2 acquisition mode improves the collection efficiency of the projection and reduces the X-ray exposure time. However, the collected projection based on the 2*2 acquisition mode has low resolution (LR) and the reconstructed image quality is poor, thus limiting the use of this mode in CT imaging systems. In this study, a novel sinogram-super-resolution generative adversarial network (SSR-GAN) model is proposed to obtain high-resolution (HR) sinograms from LR sinograms, thereby improving the reconstruction image quality under the 2*2 acquisition mode. The proposed generator is based on the residual network for LR sinogram feature extraction and super-resolution (SR) sinogram generation. A relativistic discriminator is designed to render the network capable of obtaining more realistic SR sinograms. Moreover, we combine the cycle consistency loss, sinogram domain loss, and reconstruction image domain loss in the total loss function to supervise SR sinogram generation. Then, a trained model can be obtained by inputting the paired LR/HR sinograms into the network. Finally, the classic FBP reconstruction algorithm is used for CT image reconstruction based on the generated SR sinogram. The qualitative and quantitative results of evaluations on digital and real data illustrate that the proposed model not only obtains clean SR sinograms from noisy LR sinograms but also outperforms its counterparts.

연구 동기 및 목표

• CT 영상에서 2×2 검출기 수집 방식에서 저해상도 시노그램으로 인한 열악한 영상 품질 문제를 해결하기 위해.
• 저해상도 입력에서 고해상도 시노그램을 재구성하는 딥러닝 기반 초해상도 방법을 개발하기 위해.
• 방사선 선량이나 하드웨어 복잡도를 증가시키지 않고도 CT 영상 품질을 향상시키기 위해.
• 구조적 세부 정보를 유지하면서도 현실적이며 고정밀도의 시노그램을 생성하는 GAN 프레임워크를 설계하기 위해.
• 임상적 관련성을 확보하기 위해 디지털 필터와 실재 CT 데이터에서 모두 방법을 검증하기 위해.

제안 방법

• 잔차 신경망 기반 생성자는 저해상도 시노그램에서 특징를 추출하고 고해상도 시노그램을 생성한다.
• 실제와 가짜 분포를 비교함으로써 생성된 시노그램의 현실성을 향상시키기 위해 상대적 판별자를 적용한다.
• 사이클 일致성 손실, 시노그램 도메인 손실, 재구성 영상 도메인 손실을 조합하여 다수준 감독을 위한 총 손실 함수를 구성한다.
• 쌍체의 저해상도 및 고해상도 시노그램 데이터를 사용하여 SSR-GAN 모델을 엔드 투 엔드로 훈련시킨다.
• 최종적으로 생성된 고해상도 시노그램을 바탕으로 기존의 필터링 역산회전(FBP) 알고리즘을 사용해 CT 영상을 재구성한다.
• 초해상도 시노그램의 질감과 구조적 정확도를 향상시키기 위해 적대적 학습을 훈련 과정에 활용한다.

실험 결과

연구 질문

• RQ1 2×2 검출기 수집 방식에서 저해상도 시노그램을 효과적으로 초해상도로 복원하는 GAN 기반 접근법이 가능한가?
• RQ2 제안된 SSR-GAN 모델이 기준 방법보다 시각적으로나 정량적으로 우수한 고해상도 시노그램을 생성하는가?
• RQ3 다중 손실 학습 전략이 재구성된 CT 영상의 정확도와 진단 품질을 어느 정도 향상시키는가?
• RQ4 상대적 판별자는 생성된 시노그램의 현실성과 구조적 정확도에 어떤 기여를 하는가?
• RQ5 이 방법은 디지털 필터와 실재 환자 데이터 양쪽 모두에서 영상 품질 향상을 유지할 수 있는가?

주요 결과

• 제안된 SSR-GAN 모델은 기준 방법보다 훨씬 더 깔끔하고 세밀한 고해상도 시노그램을 생성한다.
• 정량적 평가 결과, 디지털 및 실재 데이터에서 기존 초해상도 기법 대비 PSNR 및 SSIM 지표에서 뛰어난 성능을 보였다.
• 이 방법은 저해상도 시노그램의 노이즈와 아티팩트를 효과적으로 줄이며 미세한 해부학적 구조를 유지한다.
• 사이클 일치성과 다중 도메인 손실의 사용은 다양한 데이터 유형 간의 안정적인 훈련과 향상된 일반화 능력을 이끌어냈다.
• 생성된 고해상도 시노그램을 기반으로 재구성된 CT 영상에서는 시각적 품질이 향상되고 스트레이프 아티팩트가 감소했다.
• 실재 환자 데이터에서도 높은 성능을 유지하여 임상 적용 가능성과 강건성을 입증했다.