[논문 리뷰] Transformer and GAN Based Super-Resolution Reconstruction Network for Medical Images

Weizhi Du, Harvery Tian|arXiv (Cornell University)|2022. 12. 26.

Advanced Image Processing Techniques인용 수 6

한 줄 요약

이 논문은 텍스처 세부 정보와 구조적 충실도를 향상시키기 위해 트랜스포머와 생성적 적대적 네트워크(GAN)를 통합한 새로운 초해상도 복원 네트워크인 T-GAN을 제안한다. 자기주의 메커니즘을 활용한 전역적 특징 매칭과 콘텐츠, 적대적, 특징 손실을 조합한 다중 작업 손실을 통해 T-GAN은 무릎과 Abdominal MRI 데이터셋에서 최신 기술(SOTA) 성능을 달성하여 PSNR와 SSIM 측면에서 기존 SOTA 방법을 능가하면서도 미세한 해부학적 텍스처를 유지한다.

ABSTRACT

Because of the necessity to obtain high-quality images with minimal radiation doses, such as in low-field magnetic resonance imaging, super-resolution reconstruction in medical imaging has become more popular (MRI). However, due to the complexity and high aesthetic requirements of medical imaging, image super-resolution reconstruction remains a difficult challenge. In this paper, we offer a deep learning-based strategy for reconstructing medical images from low resolutions utilizing Transformer and Generative Adversarial Networks (T-GAN). The integrated system can extract more precise texture information and focus more on important locations through global image matching after successfully inserting Transformer into the generative adversarial network for picture reconstruction. Furthermore, we weighted the combination of content loss, adversarial loss, and adversarial feature loss as the final multi-task loss function during the training of our proposed model T-GAN. In comparison to established measures like PSNR and SSIM, our suggested T-GAN achieves optimal performance and recovers more texture features in super-resolution reconstruction of MRI scanned images of the knees and belly.

연구 동기 및 목표

• 저선량 CT와 저장비 MRI에서 진단 정확도가 노이즈와 해상도 손실로 인해 떨어지는 저해상도 의료 영상 문제를 해결하기 위해.
• 재구성 문제의 불안정성으로 인해 전통적인 초해상도 방법이 가장자리 흐림과 텍스처 환각 현상을 겪는 한계를 극복하기 위해.
• 트랜스포머를 통한 전역적 자기주의와 GAN의 생성 능력을 융합하여 초해상도에서 텍스처와 구조적 충실도를 향상시키기 위해.
• 생성자에게 현실적이고 고정성 있는 출력을 이끌어내기 위해 콘텐츠, 적대적, 특징 수준의 손실를 조합한 다중 작업 손실 함수를 개발하기 위해.

제안 방법

• 제안된 T-GAN 프레임워크는 잔차 학습을 사용하는 브랜치와 장거리 특징 모델링을 위한 트랜스포머 기반 모듈을 통합한 이중 브랜치 생성자 아키텍처를 채택한다.
• 트랜스포머 모듈은 모든 공간 위치 간의 자기주의를 계산하여 전역적 이미지 매칭을 가능하게 하며, 주목할 만한 해부학적 구조에 집중하고 텍스처 세부 정보를 유지하는 데 기여한다.
• 사전 훈련된 VGG 네트워크의 중간 특징을 사용하여 콘텐츠 손실, 판별자로부터의 적대적 손실, 특징 수준의 적대적 손실을 조합한 다중 작업 손실 함수를 설계한다.
• 생성자는 판별자와 함께 최소 최대 게임(minimax game) 방식으로 엔드 투 엔드로 훈련되며, 고해상도 이미지를 실제 고해상도 이미지와 구별할 수 없도록 만드는 것을 목표로 한다.
• 생성자에 대한 시각적 현실감 향상을 위해 인지적 및 적대적 감독을 조합하여 미세한 잡음과 예측 불가능한 무결성을 줄인다.
• 정량적 평가 지표로 PSNR와 SSIM을 사용하여 무릎과 Abdominal MRI 데이터셋, 저선량 체스트 CT 스캔에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 기존 초해상도 방법과 비교해 볼 때, 트랜스포머를 강화한 GAN 아키텍처는 저해상도 의료 영상에서 미세한 텍스처 세부 정보 복원에 효과적인가?
• RQ2 생성자에 통합된 자기주의 메커니즘이 의료 영상 초해상도에서 특징 표현과 재구성 정확도를 어떻게 향상시키는가?
• RQ3 콘텐츠, 적대적, 특징 수준 감독를 조합한 다중 작업 손실이 재구성된 영상의 시각적 품질과 구조적 충실도를 어느 정도 향상시키는가?
• RQ4 제안된 T-GAN 모델은 MRI 및 저선량 CT와 같은 다양한 의료 영상 모odalities에 효과적으로 일반화되는가?
• RQ5 PSNR, SSIM 및 시각적 품질 측면에서 T-GAN 모델은 최신 기술(SISR 및 RefSR) 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• 무릎 MRI 영상에서 T-GAN은 PSNR 34.92와 SSIM 0.9496을 기록하여 EDSR(33.31 PSNR)와 WDSR(33.998 PSNR)를 모두 능가했다.
• Abdominal MRI 영상에서 T-GAN은 PSNR 34.69와 SSIM 0.9353을 기록하여 WDSR(34.25 PSNR)에 약간 앞서고 EDSR(33.43 PSNR)를 크게 앞섰다.
• 시각적 비교 결과 T-GAN은 더 선명한 가장자리와 더 현실적인 텍스처 세부 정보를 재구성했으며, 이중 보간법과 EDSR 방법에서 흔히 발생하는 과도한 부드러움을 피했다.
• 저선량 체스트 CT 영상에서 모델는 강력한 일반화 능력을 보였으며, 기존 기준 방법 대비 더 높은 해상도의 출력을 생성하고, 구조적 일관성은 향상시키며 노이즈는 감소시켰다.
• 제거 실험을 통해 콘텐츠, 적대적, 특징 손실를 조합한 다중 작업 손실 함수가 재구성의 충실도와 현실감을 균형 있게 유지하는 데 핵심적인 역할을 한다는 것이 확인되었다.
• 트랜스포머 모듈의 통합은 장거리 상관관계를 포착하고 진단적으로 중요한 영역에 집중하는 능력을 크게 향상시켜 뛰어난 성능을 이끌어냈다.