[논문 리뷰] Feeding the zombies: Synthesizing brain volumes using a 3D progressive growing GAN

Anders Eklund|arXiv (Cornell University)|2019. 12. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 5

한 줄 요약

이 논문은 제한된 데이터셋으로부터 고해상도 T1-강조 MR 뇌 부피를 합성하기 위해 3D 프로그레시브 그로잉 GAN(3D PGAN)을 제안한다. 데이터 증강과 3D 컨볼루션을 사용하여 4×4×4에서 64×64×64 박자 해상도로 점진적으로 훈련함으로써, 모델은 현실적인 뇌 부피를 생성하며 의료 AI의 훈련 데이터를 보완할 수 있으며, 최소한의 모드 붕괴를 동반한 3D 의료 영상 합성의 가능성을 입증한다.

ABSTRACT

Deep learning requires large datasets for training (convolutional) networks with millions of parameters. In neuroimaging, there are few open datasets with more than 100 subjects, which makes it difficult to, for example, train a classifier to discriminate controls from diseased persons. Generative adversarial networks (GANs) can be used to synthesize data, but virtually all research is focused on 2D images. In medical imaging, and especially in neuroimaging, most datasets are 3D or 4D. Here we therefore present preliminary results showing that a 3D progressive growing GAN can be used to synthesize MR brain volumes.

연구 동기 및 목표

• 대규모 개방형 신경영상 데이터셋의 부족을 해결하기 위해 합성 뇌 부피를 생성하는 것.
• 2D 프로그레시브 그로잉 GAN 프레임워크를 3D 의료 영상에 적응시켜 훈련 안정성과 영상 품질을 향상시키는 것.
• 3D PGAN이 제한된 실재 데이터로부터 고해상도, 현실적인 T1-강조 MR 뇌 부피를 생성할 수 있는지 평가하는 것.
• 합성 부피 생성을 통해 데이터 증강과 개인정보 보호를 고려한 데이터 공유를 가능하게 하는 것.
• 향후 의료 영상 합성 연구를 위한 재현 가능한 3D GAN 프레임워크를 제공하는 것.

제안 방법

• 모델은 4×4×4에서 64×64×64 박자 해상도로 점진적으로 훈련되며, 낮은 해상도 부피에서 시작하여 점차 복잡도를 증가시킨다.
• 원래의 2D PGAN 구현에서 모든 2D 컨볼루션은 3D 컨볼루션으로 대체되었으며, 텐서플로우 연산은 3D 텐서를 처리하도록 확장되었다.
• 데이터 증강을 위해 각 주제당 10개의 랜덤 3D 회전을 생성하여 훈련 세트를 900개에서 9,000개의 부피로 증가시켰으며, 각 회전은 평균 0°, 표준편차 10°인 정규분포에서 추출되었다.
• 모델은 노이즈 벡터를 생성기의 입력으로 사용하며, 이는 합성 부피를 생성하고, 판별기는 적대적 훈련을 통해 실재 부피와 생성 부피를 구분한다.
• NIfTI 파일 입출력은 신경영상 데이터 포맷을 처리하기 위해 nibabel 파이썬 패키지를 사용하여 구현되었다.
• 학습률과 미니배치 크기와 같은 하이퍼파ram터는 각 해상도 수준에 맞게 조정되었으며, 원래의 2D PGAN에 비해 필터 수를 감소시켜 최대 128로 제한되었다.

실험 결과

연구 질문

• RQ1 3D 프로그레시브 그로잉 GAN은 고해상도에서 현실적인 T1-강조 MR 뇌 부피를 효과적으로 합성할 수 있는가?
• RQ2 낮은 해상도에서 높은 해상도로 점진적으로 훈련하는 것이 3D 의료 GAN의 훈련 안정성과 영상 품질을 향상시키는가?
• RQ3 3D 영상에서 뇌 영상에 대해 3D 회전을 활용한 데이터 증강이 일반화 능력 향상과 모드 붕괴 감소에 얼마나 기여하는가?
• RQ4 3D PGAN가 생성한 합성 뇌 부위는 후행 의료 AI 작업을 위한 실재 데이터 세트의 증강에 효과적으로 활용될 수 있는가?
• RQ5 기존의 2D 또는 소형 3D GAN과 비교해 볼 때 3D PGAN의 성능은 전체 뇌 MR 부피 합성에서 어떻게 나타나는가?

주요 결과

• 3D PGAN은 64×64×64 박자 해상도에서 현실적인 T1-강조 MR 뇌 부위를 성공적으로 생성하여 3D 의료 영상에 대한 점진적 훈련의 가능성을 입증했다.
• 32×32×32 및 64×64×64 해상도에서의 합성 부위는 주름과 굴곡 패턴을 포함한 일관된 해부학적 구조를 보이며, 타당한 뇌 형태를 나타냈다.
• 전체 64×64×64 해상도 모델의 훈련 시간은 Nvidia DGX 스테이션(4개의 V100 GPU)에서 약 81시간이 소요되었다.
• 다양한 랜덤 시드에서 균일하고 해부학적으로 타당한 출력을 통해, 최소한의 모드 붕괴를 동반한 안정적인 훈련을 달성했다.
• 주제당 10개의 랜덤 3D 회전을 활용한 데이터 증강(총 9,000개 부피)이 훈련 안정성 향상과 생성 샘플의 다양성 향상에 기여했다.
• 3D PGAN 프레임워크는 GitHub에 공개되어 재현 가능성과 향후 더 높은 해상도 또는 다른 해부학적 구조로의 확장 가능성을 제공한다.