[논문 리뷰] A residual dense vision transformer for medical image super-resolution with segmentation-based perceptual loss fine-tuning

Jin Zhu, Guang Yang외 1명|arXiv (Cornell University)|2023. 02. 22.

Advanced Image Processing Techniques인용 수 7

한 줄 요약

이 논문은 잔차 밀도 연결과 국소적 특징 융합을 통합하여 특징 학습을 향상시키는 의료 영상 초해상도를 위한 잔차 밀도 비전 트랜스포머(RDST)를 제안한다. 재구성 정밀도와 후속 작업 성능을 향상시키기 위해 사전 훈련된 분할 모델을 활용하는 분할 기반 인지 손실을 도입하여 스위니IR 대비 38% 적은 파라미터로 최신 기술(SOTA) 수준의 PSNR 성능을 달성한다.

ABSTRACT

Super-resolution plays an essential role in medical imaging because it provides an alternative way to achieve high spatial resolutions and image quality with no extra acquisition costs. In the past few decades, the rapid development of deep neural networks has promoted super-resolution performance with novel network architectures, loss functions and evaluation metrics. Specifically, vision transformers dominate a broad range of computer vision tasks, but challenges still exist when applying them to low-level medical image processing tasks. This paper proposes an efficient vision transformer with residual dense connections and local feature fusion to achieve efficient single-image super-resolution (SISR) of medical modalities. Moreover, we implement a general-purpose perceptual loss with manual control for image quality improvements of desired aspects by incorporating prior knowledge of medical image segmentation. Compared with state-of-the-art methods on four public medical image datasets, the proposed method achieves the best PSNR scores of 6 modalities among seven modalities. It leads to an average improvement of $+0.09$ dB PSNR with only 38\% parameters of SwinIR. On the other hand, the segmentation-based perceptual loss increases $+0.14$ dB PSNR on average for SOTA methods, including CNNs and vision transformers. Additionally, we conduct comprehensive ablation studies to discuss potential factors for the superior performance of vision transformers over CNNs and the impacts of network and loss function components. The code will be released on GitHub with the paper published.

연구 동기 및 목표

• 비전 트랜스포머를 저수준 의료 영상 초해상도에 적용하는 데 있어 성능이 자연 이미지 작업에 비해 뒤처지는 문제를 해결한다.
• 잔차 학습, 밀도 연결, 국소적 특징 융합 등의 CNN 기반 메커니즘을 비전 트랜스포머 아키텍처에 통합하여 의료 영상 초해상도 품질을 향상시킨다.
• 사전 훈련된 의료 영상 분할 모델에서의 사전 지식을 손실 함수에 통합하여 인지 품질과 후속 분할 성능을 향상시킨다.
• 다양한 의료 영상 모odalities에서 단일 영상 초해상도 작업에서 최신 기술 성능을 달성하면서도 모델 복잡도를 감소시킨다.

제안 방법

• 비전 트랜스포머 내에서 잔차 학습과 밀도 특징 연결, 국소적 특징 융합을 조합하여 특징 전파 및 표현을 향상시키는 잔차 밀도 비전 트랜스포머(RDST)를 제안한다.
• 스위니IR 대비 38%의 파라미터 감소를 달성하면서도 경쟁 가능한 성능을 유지하는 효율적 변종인 RDST-E를 설계한다.
• 사전 훈련된 U-Net의 특징을 활용하여 초해상도를 유도하는 분할 기반 인지 손실($\mathcal{L}_{E(1)}$)을 도입하여 재구성 정밀도와 후속 분할 정확도를 모두 향상시킨다.
• 각 데이터셋(OASIS, ACDC, COVID)에 대해 사전 훈련된 분할 모델을 활용하여 의료 영상 데이터셋에서 초해상도 모델을 분할 기반 인지 손실로 미세 조정한다.
• L1 손실과 분할 기반 인지 손실의 조합으로 모델을 훈련하고, 구성 요소 기여도를 검증하기 위한 분석 실험을 수행한다.
• 이식 학습을 통해 분할 기반 인지 손실이 다양한 의료 영상 도메인 간에 일반화되는지를 평가한다.

실험 결과

연구 질문

• RQ1 잔차 밀도 연결과 국소적 특징 융합이 의료 영상 초해상도에서 비전 트랜스포머의 성능 향상에 기여하는가?
• RQ2 사전 훈련된 모델에서 유도된 분할 기반 인지 손실을 통합함으로써 초해상도 작업에서 이미지 재현 정밀도와 후속 분할 성능이 향상되는가?
• RQ3 다양한 의료 영상 모달리티에서 최신 기술(SOTA) 방법인 스위니IR에 비해 제안된 RDST 모델의 성능과 효율성은 어떻게 비교되는가?
• RQ4 개별 구성 요소(예: 잔차 연결, 국소적 특징 융합, 분할 기반 손실)가 전체 성능 향상에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 RDST 모델은 7종의 의료 영상 모달리티에서 최신 기술 방법 대비 평균 0.09 dB의 PSNR 향상을 달성하였으며, 스위니IR 대비 파라미터 수의 38%에 불과하다.
• 분할 기반 인지 손실($\mathcal{L}_{E(1)}$)은 최신 기술 방법(모든 CNN 및 비전 트랜스포머 포함)에서 평균 0.14 dB의 PSNR 향상을 가져왔다.
• RDST-E 변종은 스위니IR 대비 파라미터 수의 20%만을 사용하면서도 최신 기술 방법 대비 평균 0.06 dB의 PSNR 향상을 달성하였다.
• 분할 기반 인지 손실은 후속 분할 작업에서 DICE 계수를 평균 0.0023 향상시켜 기계적 인지 능력 향상을 입증하였다.
• 분석 실험 결과, 잔차 밀도 연결과 국소적 특징 융합이 특히 의료 영상의 미세 구조를 유지하는 데 있어 성능 향상에 크게 기여하는 것으로 확인되었다.
• 이식 학습 실험 결과, 분할 기반 인지 손실은 OASIS, ACDC, COVID 등의 다양한 의료 영상 데이터셋 간에 잘 일반화되며 일관된 성능 향상을 보였다.