[논문 리뷰] AdaIN-Switchable CycleGAN for Efficient Unsupervised Low-Dose CT Denoising

Jawook Gu, Jong Chul Ye|arXiv (Cornell University)|2020. 08. 13.

Medical Imaging Techniques and Applications참고 문헌 33인용 수 6

한 줄 요약

이 논문은 적응적 인스턴스 정규화(AdaIN)를 사용하여 한 개의 네트워크 내에서 노이즈 감소와 노이즈 생성 간에 전환할 수 있는 단일 생성기 기반의 비지도 학습 프레임워크인 AdaIN-스위치가능한 CycleGAN을 제안한다. 별도의 보조 생성기의 필요성을 제거함으로써 파rameter 수를 약 50% 감소시키고 학습 안정성을 향상시켜 이전의 CycleGAN 방법들보다 뛰어난 PSNR(30.87 dB)와 SSIM(0.6605) 성능을 달성한다.

ABSTRACT

Recently, deep learning approaches have been extensively studied for low-dose CT denoising thanks to its superior performance despite the fast computational time. In particular, cycleGAN has been demonstrated as a powerful unsupervised learning scheme to improve the low-dose CT image quality without requiring matched high-dose reference data. Unfortunately, one of the main limitations of the cycleGAN approach is that it requires two deep neural network generators at the training phase, although only one of them is used at the inference phase. The secondary auxiliary generator is needed to enforce the cycle-consistency, but the additional memory requirement and increases of the learnable parameters are the main huddles for cycleGAN training. To address this issue, here we propose a novel cycleGAN architecture using a single switchable generator. In particular, a single generator is implemented using adaptive instance normalization (AdaIN) layers so that the baseline generator converting a low-dose CT image to a routine-dose CT image can be switched to a generator converting high-dose to low-dose by simply changing the AdaIN code. Thanks to the shared baseline network, the additional memory requirement and weight increases are minimized, and the training can be done more stably even with small training data. Experimental results show that the proposed method outperforms the previous cycleGAN approaches while using only about half the parameters.

연구 동기 및 목표

• 기존의 CycleGAN가 추론 시에 한 개의 생성기만 사용함에도 불구하고 두 개의 별도 생성기를 필요로 하여 높은 메모리와 파rameter 오버헤드를 유발하는 문제를 해결하기 위해.
• 제한된 데이터셋에서 학습 시 파rameter 수를 최소화하여 저선량 CT 노이즈 제거 네트워크의 안정적인 학습을 가능하게 하기 위해.
• 쌍화된 고선량 기준 영상이 필요 없이도 비지도 학습 기반 저선량 CT 노이즈 제거에서 영상 품질을 향상시키기 위해.
• 웨이블릿 도메인 처리와 아이덴티티 손실의 활용을 통해 해부학적 구조를 유지하고 잡음과 기계적 잔상(artifacts)을 감소시키기 위해.

제안 방법

• 적응적 인스턴스 정규화(AdaIN) 레이어를 사용하여 단일 생성기를 구현함으로써, AdaIN 코드를 변경함으로써 저선량에서 고선량 CT 영상으로, 그리고 고선량에서 저선량 CT 영상으로의 변환 역할을 전환할 수 있도록 한다.
• AdaIN 코드는 주 생성기보다 훨씬 적은 파rameter를 가지는 경량의 코드 생성 네트워크에 의해 생성된다.
• 실제적인 영상 변환과 특징 보존을 보장하기 위해 adversarial loss, 사이클 일致성 손실, 아이덴티티 손실을 사용하여 네트워크를 학습시킨다.
• 저선량 CT 영상은 웨이블릿 변환을 통해 저주파수 및 고주파수 성분으로 분해되며, 네트워크는 고주파수 성분에서 노이즈 패턴을 학습하는 데 집중한다.
• 입력 영상이 이미 목표 도메인에 속해 있을 경우, 입력 영상과 재구성된 영상 간의 차이를 최소화함으로써 아이덴티티 손실을 적용하여 구조적 세부 정보를 보존한다.
• 공유된 백본 가중치를 가진 단일 생성기를 사용함으로써 표준 CycleGAN에 비해 총 파rameter 수를 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 단일 생성기와 AdaIN 전환 기능이 저선량 CT 노이즈 제거에서 두 개의 별도 생성기를 대체할 수 있는가, 성능을 유지할 수 있는가?
• RQ2 공유된 생성기 아키텍처를 통해 파rameter 수를 줄임으로써, 특히 제한된 학습 데이터에서 학습 안정성이 향상되는가?
• RQ3 저선량 CT 노이즈 제거에서 영상 품질 유지를 위해 기존 영상 도메인 처리 대비 웨이블릿 도메인 처리가 얼마나 효과적인가?
• RQ4 아이덴티티 손실과 웨이블릿 잔여 학습이 재구성 영상에서 인위적인 특징을 억제하는 데 기여하는 정도는 어떠한가?

주요 결과

• 제안된 방법은 PSNR 30.87 dB, SSIM 0.6605를 달성하여 WavCycleGAN(PSNR: 30.40 dB, SSIM: 0.6279)을 능가하는 성능을 보였다.
• 총 파arameter 수가 618만 개에 불과하여, 성능은 유사하거나 뛰어난 WavCycleGAN(1182만 개)에 비해 약 50% 감소한 파arameter 수를 사용하였다.
• 학습 데이터가 감소함에 따라도 성능 저하가 부드럽게 나타났다: 전체 학습 세트의 10%로 줄였을 때 PSNR는 30.87 dB에서 30.39 dB로 떨어졌고, WavCycleGAN는 28.98 dB로 떨어졌다.
• 제거 실험 결과, 웨이블릿 잔여 학습과 아이덴티티 손실이 모두 필수적임을 확인하였다. 둘 중 하나를 제거할 경우 차이 영상에서 눈에 띄는 잡음과 가장자리 왜곡이 발생하였다.
• AdaIN를 활용함으로써 추가적인 파arameter 수를 최소화하면서도 효과적인 생성기 전환을 가능하게 하여 학습 효율성과 안정성을 크게 향상시켰다.
• 재구성 영상에서 경계가 더 선명하고 강도 변화가 감소한 것으로 보아, 제안된 방법은 기존 기반 방법보다 해부학적 구조를 더 잘 유지하였다.