[논문 리뷰] Perception Consistency Ultrasound Image Super-resolution via Self-supervised CycleGAN

Heng Liu, Jianyong Liu외 3명|arXiv (Cornell University)|2020. 12. 28.

Advanced Image Processing Techniques참고 문헌 31인용 수 10

한 줄 요약

이 논문은 자기지도 학습 기반의 CycleGAN 프레임워크를 제안하여 초음파 영상 초해상도 분석을 수행하며, 양방향 사이클(LR→SR→LR 및 HR→LR→SR)을 통해 재구성된 저해상도 영상이 원본 입력과 일치하도록 인지 일致성(Perception Consistency)을 강제한다. 이 방법은 CCA-US 및 US-CASE 데이터셋에서 PSNR, IFC, SSIM 및 추론 속도 측면에서 최신 기술(SOTA) 수준의 성능을 달성하였으며, 이전 방법들에 비해 향상된 시각적 품질과 더 적은 아티팩트를 제공한다.

ABSTRACT

Due to the limitations of sensors, the transmission medium and the intrinsic properties of ultrasound, the quality of ultrasound imaging is always not ideal, especially its low spatial resolution. To remedy this situation, deep learning networks have been recently developed for ultrasound image super-resolution (SR) because of the powerful approximation capability. However, most current supervised SR methods are not suitable for ultrasound medical images because the medical image samples are always rare, and usually, there are no low-resolution (LR) and high-resolution (HR) training pairs in reality. In this work, based on self-supervision and cycle generative adversarial network (CycleGAN), we propose a new perception consistency ultrasound image super-resolution (SR) method, which only requires the LR ultrasound data and can ensure the re-degenerated image of the generated SR one to be consistent with the original LR image, and vice versa. We first generate the HR fathers and the LR sons of the test ultrasound LR image through image enhancement, and then make full use of the cycle loss of LR-SR-LR and HR-LR-SR and the adversarial characteristics of the discriminator to promote the generator to produce better perceptually consistent SR results. The evaluation of PSNR/IFC/SSIM, inference efficiency and visual effects under the benchmark CCA-US and CCA-US datasets illustrate our proposed approach is effective and superior to other state-of-the-art methods.

연구 동기 및 목표

• 의료 영상 분야에서 쌍화된 저해상도(LR) 및 고해상도(HR) 학습 데이터 부족 문제를 해결하기 위해.
• 저해상도(LR) 및 초해상도(SR) 영상 간 사이클 일관성 조건을 강제하여 초해상도 결과의 인지 일치성을 향상시키기 위해.
• 쌍화된 학습 데이터가 필요 없는 경량의 자기지도 학습 프레임워크를 개발하기 위해.
• 초해상도 분석 과정에서 시각적 품질을 향상시키고 아티팩트를 줄이며, 높은 재구성 정확도를 유지하기 위해.
• 기존 방법들과 비교해 객관적 지표와 추론 효율성 측면에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 비정렬 초음파 영상에서 합성된 LR-HR 쌍을 생성하기 위해 자기지도 학습 전략을 사용한다.
• 저해상도 입력을 고해상도 출력으로 초해상도화하기 위해 깊이 있는 다중 척도 인코더-디코더 네트워크를 활용한다.
• 특수 설계된 CNN을 도입하여 랜덤 노이즈 입력을 통해 생성된 SR 영상을 다시 저해상도 버전으로 변환함으로써, LR→SR→LR 사이클을 시뮬레이션한다.
• 역방향 네트워크 아키텍처를 적용하여 HR→LR→SR 사이클을 시뮬레이션함으로써 이중 방향 일관성을 확보한다.
• 픽셀 단위 손실, 인지적 특징 손실, 적대적 손실 및 사이클 일관성 손실을 조합하여 생성자 최적화를 수행한다.
• 사이클 일관성 손실을 활용하여 분포 이탈을 최소화하고 재구성된 영상의 아티팩트를 감소시킨다.

실험 결과

연구 질문

• RQ1 쌍화된 LR-HR 학습 데이터 없이도 자기지도 학습 기반의 CycleGAN 프레임워크가 고성능의 초음파 영상 초해상도 분석을 달성할 수 있는가?
• RQ2 사이클 일관성이 LR→SR→LR 및 HR→LR→SR 변환 과정에서 인지적 정확성을 유지하는 데 얼마나 효과적인가?
• RQ3 적대적, 인지적, 사이클 일관성 손실을 병합함으로써 초음파 영상 분야의 초해상도 성능에 어떤 영향을 미치는가?
• RQ4 시각적 품질과 객관적 지표 측면에서 이전의 지도 학습 및 제로샷 학습 방법과 비교해 본다면, 제안된 방법은 어떠한가?
• RQ5 초해상도 분석에서 최신 기술(SOTA) 성능을 달성하면서도 고성능의 추론 효율성을 유지할 수 있는가?

주요 결과

• 제안된 방법은 CCA-US 데이터셋에서 PSNR 34.900과 IFC 2.317을 기록하여 비교된 모든 방법들을 능가한다.
• 모델은 아티팩트와 노이즈를 줄이며, ZSSR에서 흔히 발생하는 구멍 같은 구조를 피함으로써 더 진단에 유용한 결과를 제공한다.
• 모든 비교 방법들 중에서 가장 높은 추론 속도를 기록하여 임상 적용에 있어서 뛰어난 효율성과 확장성을 보여준다.
• 절단 실험을 통해 사이클 일관성 손실이 가장 중요한 구성 요소임을 확인하였으며, GAN 전용 또는 사이클 전용 기반 모델 대비 성능 향상이 뚜렷하다.
• 픽셀 단위 손실, 인지적 특징 손실, 적대적 손실 및 사이클 일관성 손실의 조합이 가장 높은 재구성 정확도와 시각적 품질을 달성한다.
• 모델은 경량 구조를 갖추고 있으며, SRCNN보다 약간 높은 용량을 가지므로 실시간 임상 적용에 적합하다.