[논문 리뷰] FMRI data augmentation via synthesis

Peiye Zhuang, Alexander G. Schwing외 1명|arXiv (Cornell University)|2019. 07. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 6

한 줄 요약

이 논문은 인지 해독에서 예측 모델 성능을 햖스키기 위해 3D 조건부 생성 모델—특히 GAN, VAE, GMM를 사용한 fMRI 데이터 증강을 제안한다. 실제 fMRI 데이터를 기반으로 3D 합성곱 모델을 훈련시켜 다양한 작업에 따라 달라지는 뇌 영상을 합성함으로써, 저자들은 합성 데이터가 분류기 정확도를 크게 향상시킴을 입증한다. 특히 딥 뉴럴 네트워크와 조합할 경우, 전통적인 데이터 증강 기법과 기본 생성 모델보다 뛰어난 성능을 보인다.

ABSTRACT

We present an empirical evaluation of fMRI data augmentation via synthesis. For synthesis we use generative mod-els trained on real neuroimaging data to produce novel task-dependent functional brain images. Analyzed generative mod-els include classic approaches such as the Gaussian mixture model (GMM), and modern implicit generative models such as the generative adversarial network (GAN) and the variational auto-encoder (VAE). In particular, the proposed GAN and VAE models utilize 3-dimensional convolutions, which enables modeling of high-dimensional brain image tensors with structured spatial correlations. The synthesized datasets are then used to augment classifiers designed to predict cognitive and behavioural outcomes. Our results suggest that the proposed models are able to generate high-quality synthetic brain images which are diverse and task-dependent. Perhaps most importantly, the performance improvements of data aug-mentation via synthesis are shown to be complementary to the choice of the predictive model. Thus, our results suggest that data augmentation via synthesis is a promising approach to address the limited availability of fMRI data, and to improve the quality of predictive fMRI models.

연구 동기 및 목표

• 생성 모델이 데이터 증강을 위해 고품질의 다양하고 작업에 따라 달라지는 합성 fMRI 데이터를 생성할 수 있는지 조사하기.
• 합성 fMRI 데이터가 인지 및 행동 결과 예측을 위한 후속 분류기 성능 향상에 미치는 영향을 평가하기.
• GMM, VAE, GAN 등 다양한 생성 모델이 fMRI 데이터 증강에 얼마나 효과적인지 비교하기.
• 합성에 의한 데이터 증강이 예측 모델 아키텍처의 발전과 상호보완적인지 평가하기.

제안 방법

• 3D 합성곱을 사용해 fMRI 데이터의 공간 상관관계를 모델링하고 작업 레이블 조건부로 합성 뇌 영상을 생성하기 위해 3D 조건부 Variational Autoencoders (CVAEs)를 훈련하기.
• 3D 합성곱과 기울기 페널티를 적용한 개선된 조건부 워샤르스키 GAN (ICW-GAN)을 개발하여 현실적이고 다양한 fMRI 볼륨을 생성하기.
• 실제 fMRI 데이터에 기반해 기댓값 기반 알고리즘(EM 알고리즘)을 사용해 훈련한 GMM을 비교 기준으로 사용하여 데이터 가능성 모델링하기.
• 데이터 증강을 위해 각 클래스당 20개의 새로운 샘플을 생성하고, 이를 실제 데이터와 결합하여 분류기 훈련에 활용하기.
• 두 개의 fMRI 데이터셋(1952 및 2138)에서 3겹 교차검증을 사용해 선형 SVM과 딥 뉴럴 네트워크(DNN)를 사용해 성능 평가하기.
• CVAEs와 ICW-GAN에서 조건부 손실 함수를 사용해 생성된 영상이 특정 인지 작업 레이블과 일치하도록 보장하기.

실험 결과

연구 질문

• RQ1 실제 fMRI 데이터를 기반으로 훈련된 생성 모델이 고품질의 다양하고 작업에 따라 달라지는 합성 뇌 영상을 생성할 수 있는가?
• RQ2 합성 fMRI 데이터를 사용한 데이터 증강이 인지 및 행동 결과를 예측하는 분류기 성능 향상에 기여하는가?
• RQ3 GMM, CVAE, ICW-GAN 등 다양한 생성 모델이 후속 분류를 위한 유용한 합성 fMRI 데이터를 얼마나 효과적으로 생성하는가?
• RQ4 합성 데이터 증강으로 얻는 성능 향상은 예측 모델 아키텍처 선택과 상호보완적인가?
• RQ5 합성 영상은 작업 레이블에 해당하는 영역(예: 운동 피질 또는 시각 피질)에서 의미 있는 신경해부학적 패턴을 유지하는가?

주요 결과

• ICW-GAN과 CVAE 모델이 실제 데이터의 공간 활성 패턴과 유사한 고품질의 합성 fMRI 영상을 생성했으며, 전문가들이 작업에 해당하는 뇌 영역에서 적절한 활성화가 발생하는 것으로 확인했다.
• CVAE와 ICW-GAN으로부터 생성된 합성 데이터로 훈련된 분류기는 실질적 데이터만으로 훈련된 경우나 노이즈 증강을 사용한 경우보다 유의미하게 높은 정확도를 기록했다.
• ICW-GAN과 CVAE는 GMM 기반 합성과 단순한 노이즈 추가보다 뛰어난 성능을 보였으며, 모든 데이터 증강 방법이 동일한 효과를 가지는 것은 아님을 입증했다.
• 1952 데이터셋에서 DNN 분류기는 ICW-GAN으로 생성된 데이터를 사용해 훈련했을 때 정확도의 분산이 1.3e-4로 나타나 안정적이고 통계적으로 유의미한 성능 향상을 보였다.
• CVAE와 ICW-GAN 모델은 교차검증 성능 지표의 분산을 감소시켜 합성 데이터 증강 기법의 강건성과 신뢰성을 시사했다.
• 합성 데이터 증강으로 얻는 성능 향상은 모델 아키텍처 선택과 상호보완적이었으며, SVM과 DNN 모두가 증강된 데이터로부터 이점을 얻었고, 특히 DNN에서 상대적으로 가장 큰 향상이 관찰되었다.