[논문 리뷰] Continuous Conversion of CT Kernel using Switchable CycleGAN with AdaIN

Serin Yang, Eung Yeop Kim외 1명|arXiv (Cornell University)|2020. 11. 26.

Seismic Imaging and Inversion Techniques참고 문헌 28인용 수 7

한 줄 요약

이 논문은 원시 시노그램 데이터가 가용하지 않을 때 후행적으로 다른 CT 커널 이미지를 생성하는 임상적 필요를 충족시키기 위해, 적응형 인스턴스 정규화(AdaIN)를 활용한 스위치 가능한 사이클GAN을 제안한다. 이는 쌍이 없는 훈련 데이터로도 감독 학습 수준의 성능을 달성하며, 날카럽고 연한 커널 간의 고해상도 번역과 함께 중간 커널 영역을 통한 연속적 보간을 가능하게 한다. 이로 인해 진단에 유용한 중간 커널 이미지가 생성된다.

ABSTRACT

X-ray computed tomography (CT) uses different filter kernels to highlight different structures. Since the raw sinogram data is usually removed after the reconstruction, in case there are additional need for other types of kernel images that were not previously generated, the patient may need to be scanned again. Accordingly, there exists increasing demand for post-hoc image domain conversion from one kernel to another without sacrificing the image quality. In this paper, we propose a novel unsupervised continuous kernel conversion method using cycle-consistent generative adversarial network (cycleGAN) with adaptive instance normalization (AdaIN). Even without paired training data, not only can our network translate the images between two different kernels, but it can also convert images along the interpolation path between the two kernel domains. We also show that the quality of generated images can be further improved if intermediate kernel domain images are available. Experimental results confirm that our method not only enables accurate kernel conversion that is comparable to supervised learning methods, but also generates intermediate kernel images in the unseen domain that are useful for hypopharyngeal cancer diagnosis.

연구 동기 및 목표

• 원시 시노그램 데이터가 가용하지 않을 때 후행적으로 다른 CT 커널 이미지를 생성하는 임상적 필요를 해결한다.
• 쌍이 있는 훈련 데이터가 필요로 하는 제한을 극복하기 위해 커널 번역을 위한 비지도 학습 접근법을 개발한다.
• 원래 확보되지 않은 중간 커널 유형을 생성하기 위해 커널 영역 간의 연속적 보간을 가능하게 한다.
• 분할된 AdaIN 코드 생성기를 통해 중간 커널 영역 이미지를 훈련 중에 통합함으로써 일반화 능력과 이미지 품질을 향상시킨다.
• 사이클 일致성 및 아이덴티티 손실 제약 조건을 통해 구조적 정밀도를 유지하고 임의의 해부학적 특징을 생성하는 것을 방지한다.

제안 방법

• 메모리 오버헤드를 줄이기 위해 단일 조건부 생성자와 함께 스위치 가능한 사이클GAN 아키텍처를 사용하며, 적응형 인스턴스 정규화(AdaIN)를 통해 이중 방향 커널 번역을 구현한다.
• 다중 커널 영역에 대해 독립적으로 생성자를 조건화하는 분할된 AdaIN 코드 생성기를 도입하여, 중간 커널 이미지를 훈련 중에 효과적으로 활용할 수 있도록 한다.
• 형태적 정밀도를 유지하고 부정확한 해부학적 특징의 생성을 방지하기 위해 사이클 일치성 및 아이덴티티 손실을 활용한다.
• 멀티도메인 학습에서 훈련의 안정성과 생성 이미지의 잡음 억제를 위해 자기 일致성 손실을 적용한다.
• 쌍이 없는 서로 다른 커널 영역의 실제 이미지만을 사용하여 모델을 종단 간(end-to-end)으로 훈련시켜 시노그램 데이터의 쌍이 필요 없도록 한다.
• AdaIN 스타일 코드의 보간을 통해 커널 영역 간 최적의 운반 경로를 따라 추론을 가능하게 하여, 다양한 커널 유형 간의 부드러운 전환을 생성한다.

Figure 1 : (a) Vanilla cycleGAN for conversion of two different kernels. (b) Switchable cycleGAN for two domains, and (c) switchable cycleGAN with split AdaIN for three domains.

실험 결과

연구 질문

• RQ1 쌍이 없는 훈련 데이터로도 고해상도 CT 커널 번역을 달성할 수 있는 비지도 딥 러닝 모델이 존재하는가?
• RQ2 단일 생성자에 AdaIN를 적용하면, 기존에 확보되지 않은 중간 커널을 포함한 다수의 CT 커널 영역 간에 연속적 보간이 가능한가?
• RQ3 훈련 중에 중간 커널 영역 이미지를 통합할 경우, 보간된 커널 이미지의 품질과 현실성은 어떻게 영향을 받는가?
• RQ4 자기 일치성 손실은 다중 도메인 사이클GAN 훈련의 안정성 향상과 잡음 억제에 어떤 역할을 하는가?
• RQ5 기본 GAN과 비교할 때 제안된 방법이 해부학적 구조를 얼마나 잘 유지하고 있으며, 부정확한 특징의 생성을 얼마나 효과적으로 방지하는가?

주요 결과

• PolyPhase U-Net를 사용한 후두암 환자 데이터셋에서 제안된 방법은 PSNR 31.6671, SSIM 0.8922의 성능을 달성하였으며, U-Net 기반 표준 사이클GAN(PSNR: 31.2706, SSIM: 0.8887)을 초월한다.
• 훈련 중에 중간 커널 이미지를 포함시킴으로써 보간 성능이 크게 향상되었으며, 모든 테스트 데이터셋에서 PSNR 및 SSIM 값이 높아짐을 확인하였다.
• 자기 일치성 손실은 잡음을 효과적으로 억제한다: 이 손실을 적용하지 않을 경우 뼈 윤곽선과 배경에서 눈에 띄는 잡음이 발생하지만, 손실이 적용되면 이러한 잡음은 제거된다.
• 최적의 운반 경로를 따라 중간 커널 이미지를 현실적으로 생성하여, 날카롭거나 연한 커널에서만 명확하게 보이지 않는 구조를 시각화할 수 있다.
• 개선된 성능에도 불구하고, 뇌-뼈 접합부 근처에서 픽셀 값의 과도한 증폭 및 트라베큘라 뼈에서의 가장자리 강조 현상 등 미세한 잡음이 여전히 존재하며, 특히 β=0에서 두드러진다.
• 아이덴티티 손실 및 사이클 일치성 손실은 표준 GAN과 달리 잘못된 해부학적 구조의 생성을 효과적으로 방지하여, 프레임워크의 강건성을 확인한다.

Figure 2 : Generator architecture in two-domain cycleGAN with one AdaIN code generator.