[논문 리뷰] Medical Image Synthesis for Data Augmentation and Anonymization using Generative Adversarial Networks

Hoo-Chang Shin, Neil Tenenholtz외 6명|arXiv (Cornell University)|2018. 07. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 6인용 수 14

한 줄 요약

이 논문은 뇌 종양을 가진 다중 매개변수 MRI 스캔을 분할 마스크에서 합성하는 조건부 GAN 기반 방법을 제안하여 데이터 증강과 익명화를 가능하게 한다. 합성 데이터가 실재 데이터와 함께 사용될 경우 종양 세그멘테이션 성능이 향상되며, 실재 데이터 없이도 미세조정을 통해 실재 데이터 학습과 유사한 성능을 달성함으로써 의료 영상 분야의 데이터 부족 문제와 개인정보 보호 문제에 대한 해결책을 제시한다.

ABSTRACT

Data diversity is critical to success when training deep learning models. Medical imaging data sets are often imbalanced as pathologic findings are generally rare, which introduces significant challenges when training deep learning models. In this work, we propose a method to generate synthetic abnormal MRI images with brain tumors by training a generative adversarial network using two publicly available data sets of brain MRI. We demonstrate two unique benefits that the synthetic images provide. First, we illustrate improved performance on tumor segmentation by leveraging the synthetic images as a form of data augmentation. Second, we demonstrate the value of generative models as an anonymization tool, achieving comparable tumor segmentation results when trained on the synthetic data versus when trained on real subject data. Together, these results offer a potential solution to two of the largest challenges facing machine learning in medical imaging, namely the small incidence of pathological findings, and the restrictions around sharing of patient data.

연구 동기 및 목표

• 희귀한 병리적 소견으로 인해(annotation된) 의료 영상 데이터가 부족한 문제를 해결하기 위해.
• 뇌 종양 세그멘테이션을 위한 딥 러닝 모델 학습 시 데이터 부족과 클래스 불균형 문제를 극복하기 위해.
• 解剖학적 및 병리학적 변동성을 유지하면서 다양한 실재감 있는 합성 MRI 스캔을 생성하는 방법을 개발하기 위해.
• 실제 환자 데이터를暴露하지 않고도 합성된 익명화된 영상으로 데이터 공유와 모델 학습을 가능하게 하기 위해.
• 실제 데이터로만 학습된 모델과 비교하여 합성 데이터로만 학습된 모델의 성능이 유사한 수준에 도달할 수 있음을 입증하기 위해.

제안 방법

• ADNI와 BRATS라는 두 개의 공개 MRI 데이터셋을 기반으로, 분할 마스크를 입력으로 사용하는 조건부 이미지-이미지 번역 GAN을 훈련한다.
• 입력과 출력으로 4차원 다중 매개변수 MRI(T1, T2, T1c, Flair)를 사용하여 공간적 및 대trastive 관계를 유지한다.
• 뇌 해부학과 종양의 분할 지도를 조건으로 하여 GAN을 조절함으로써 종양 크기, 위치, 외관을 제어할 수 있는 합성 MRI 스캔을 생성한다.
• 성능 비교를 위해 훈련 중에 표준 데이터 증강(자르기, 회전, 이동, 탄성 변형)을 적용한다.
• 실재 데이터만으로, 실재 + 합성 데이터로, 그리고 합성 데이터만으로 모델을 훈련하고, 후자의 경우 10%의 실재 데이터로 미세조정을 수행한다.
• BRATS'15 데이터셋의 보류된 테스트 세트에서 딱도 스코어를 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 GAN에 의해 생성된 합성 MRI 영상이 뇌 종양 세그멘테이션에서 딥 러닝 모델의 성능 향상에 기여할 수 있는가?
• RQ2 합성 데이터로만 학습된 모델이 실재 환자 데이터로 학습된 모델과 비교해 어느 정도 유사한 성능을 달성할 수 있는가?
• RQ3 합성 데이터의 사용으로 실재 환자 데이터의 필요성을 줄일 수 있으며, 모델의 일반화 능력과 진단 정확도를 유지할 수 있는가?
• RQ4 전통적인 데이터 증강 기법과 비교해 합성 데이터의 포함이 세그멘테이션 성능 향상에 어떤 영향을 미치는가?
• RQ5 생성 모델이 모델의 유용성에 영향을 주지 않으면서 의료 영상 데이터를 효과적으로 익명화할 수 있는가?

주요 결과

• 실재 데이터에 합성 데이터를 보완하여 훈련한 GAN 기반 모델은 실재 데이터만으로 훈련한 경우 대비 딱도 스코어 0.80/0.07을 기록하여 성능 향상이 뚜렷하게 확인되었다(실재 데이터만: 0.64/0.14).
• 합성 데이터로만 훈련하고 10%의 실재 데이터로 미세조정한 모델은 딱도 스코어 0.80/0.18을 달성하여 실재 데이터로 학습된 모델의 성능에 근접함을 보였다.
• 실재 데이터보다 5배 이상 많은 양의 합성 데이터로만 훈련한 모델는 딱도 스코어 0.81/0.09를 기록하여, 합성 데이터가 효과적인 사전 훈련 데이터로 기능할 수 있음을 시사했다.
• 표준 데이터 증강 없이도 합성 데이터에서 성능 향상이 관찰되어, GAN에 의해 생성된 이미지가 중복되지 않는 고유한 데이터 다양성을 제공함을 시사했다.
• 가장 뛰어난 성능을 보인 모델(Wang et al. [20])은 실재 + 합성 데이터로 훈련하여 딱도 스코어 0.86/0.09를 기록한 반면, GAN 기반 모델은 딱도 스코어 0.82/0.08를 기록하여 해상도가 낮음에도 불구하고 경쟁 가능한 성능을 보였다.
• 결과적으로 합성 데이터 생성 기법이 데이터 부족 문제를 효과적으로 해결하고, 의료 영상 분야에서 개인정보 보호를 위한 데이터 공유를 가능하게 할 수 있음을 시사한다.