[논문 리뷰] Capturing Variabilities from Computed Tomography Images with Generative Adversarial Networks

Umair Javaid, John A. Lee|arXiv (Cornell University)|2018. 05. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 3

한 줄 요약

이 논문은 저해상도 입력(40×40)에서부터 현실적인 2차원 단층촬영(CT) 영상을 생성하는 단순한 비지도 학습 기반 GAN 프레임워크를 제안한다. 이는 의료 영상 분야에서의 데이터 증강을 가능하게 하며, 전반적이고 국소적인 CT 영상의 변동성을 포착하여 아키텍처 변경 없이도 더 높은 해상도로 효과적으로 확장 가능한 시각적으로 신뢰할 수 있는 영상을 생성한다. 이는 데이터가 부족한 의료 환경에서 자동화된 생성 기반 데이터 증강의 개념적 실현 가능성을 보여준다.

ABSTRACT

With the advent of Deep Learning (DL) techniques, especially Generative Adversarial Networks (GANs), data augmentation and generation are quickly evolving domains that have raised much interest recently. However, the DL techniques are data demanding and since, medical data is not easily accessible, they suffer from data insufficiency. To deal with this limitation, different data augmentation techniques are used. Here, we propose a novel unsupervised data-driven approach for data augmentation that can generate 2D Computed Tomography (CT) images using a simple GAN. The generated CT images have good global and local features of a real CT image and can be used to augment the training datasets for effective learning. In this proof-of-concept study, we show that our proposed solution using GANs is able to capture some of the global and local CT variabilities. Our network is able to generate visually realistic CT images and we aim to further enhance its output by scaling it to a higher resolution and potentially from 2D to 3D.

연구 동기 및 목표

• 개인정보 보호 및 레이블링 제약으로 인해 데이터 부족 문제에 직면한 의료 영상, 특히 CT 스캔 분야의 과제를 해결한다.
• 딥러닝 모델 학습을 향상시키기 위해 현실적인 CT 영상을 생성하는 자동화된 비지도 학습 기반 데이터 증강 기법을 개발한다.
• 낮은 해상도 입력에서 복잡한 CT 영상 특징을 학습하고 재현할 수 있는 단순한 GAN 아키텍처의 가능성을 입증한다.
• 모델의 확장성을 확보하여 아키텍처 수정 없이도 더 높은 해상도로의 확장이 가능하도록 한다.
• 미래의 3차원 CT 영상 생성 및 의료 영상 분할 파ipeline에의 통합을 위한 기반을 마련한다.

제안 방법

• 표준 교차 엔트로피 손실 함수를 사용하여 조건부 GAN을 학습시키며, 생성자와 판별자를 포함한다.
• 100차원의 노이즈 벡터를 40×40×3 출력으로 업샘플링하기 위해 전치 컨볼루션 레이어 6개와 배치 정규화를 사용한 완전 컨volutional 생성자를 구현한다.
• 4개의 컨볼루션 레이어, 드롭아웃, 두 개의 완전 연결 레이어를 포함한 판별자로 구성하며, LeakyReLU 및 Sigmoid 활성화 함수를 사용한다.
• 학습을 위해 원본 512×512 CT 영상을 40×40로 다운샘플링하여 구조적 및 강도 특징을 유지한다.
• RMSProp을 사용하여 최적화하며, 판별자에 대한 학습률은 0.0001, 생성자에 대한 학습률은 0.0002로 설정하고, L2 가중치 정규화를 적용한다.
• 아키텍처 및 하이퍼파ram터를 동일하게 유지하여 64×64 해상도 영상 생성에 대해 수정 없이 적용함으로써 모델의 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 단순한 GAN 아키텍처가 저해상도 입력에서 현실적인 2차원 CT 영상을 효과적으로 학습하고 생성할 수 있는가?
• RQ2 생성된 CT 영상이 실제 CT 스캔의 전반적이고 국소적인 해부학적 특징을 어느 정도 유지하는가?
• RQ3 아키텍처 변경 없이도 제안된 GAN 프레임워크가 더 높은 해상도로 확장될 때 성능과 시각적 품질을 유지하는가?
• RQ4 최적화 방법 선택(예: RMSProp 대비 ADAM)이 생성된 CT 영상의 품질과 다양성에 어떤 영향을 미치는가?
• RQ5 이 GAN 기반 접근법이 의료 영상 딥러닝 작업을 위한 실현 가능하고 자동화된 데이터 증강 방법으로 기능할 수 있는가?

주요 결과

• GAN은 40×40 저해상도 입력에서부터 전반적이고 국소적인 영상 구조를 포착하여 시각적으로 현실적인 2차원 CT 영상을 성공적으로 생성하였다.
• 30,000 에포크 내에 안정적인 학습과 고품질의 생성 결과를 달성하였으며, 단일 GTX 1070 GPU에서 1시간 내에 수행되었다.
• 아키텍처나 하이퍼파ram터를 수정하지 않고도 64×64 해상도로의 확장이 가능했으며, 이미지 품질이 유지됨을 입증하였다.
• qualitative 비교를 통해 RMSProp이 ADAM보다 더 선명하고 현실적인 CT 영상을 생성하는 데 뛰어난 성능을 보였다.
• 100차원의 노이즈 벡터 사용으로 다양한 그러나 신뢰할 수 있는 영상 생성이 가능하여 잠재 공간 탐색이 효과적으로 이루어졌음을 시사하였다.
• 이 방법은 GAN을 활용해 저해상도 입력에서부터 전체 2차원 CT 영상을 생성한 것으로 알려진 최초의 시도이며, 향후 3차원 확장 가능성도 지닌다.