[논문 리뷰] Improving Classification Rate of Schizophrenia Using a Multimodal Multi-Layer Perceptron Model with Structural and Functional MR

Alvaro Ulloa, Sergey Plis외 1명|arXiv (Cornell University)|2018. 04. 04.

Functional Brain Connectivity Studies참고 문헌 12인용 수 13

한 줄 요약

이 연구는 구조적(비구조적 MRI, sMRI) 및 기능적(기능적 MRI, fMRI) MRI 데이터를 합성 데이터 사전 훈련을 통해 융합하는 다중모달 다층퍼셉트론(MLP) 모델을 제안하여 정신분열병 분류를 향상시킨다. 비선형 학습과 데이터 증강을 활용함으로써 모델은 AUC 0.850 ± 0.051을 달성하여 개별 모odalities와 전통적 분류기들을 뛰어넘는 성능을 보였다.

ABSTRACT

The wide variety of brain imaging technologies allows us to exploit information inherent to different data modalities. The richness of multimodal datasets may increase predictive power and reveal latent variables that otherwise would have not been found. However, the analysis of multimodal data is often conducted by assuming linear interactions which impact the accuracy of the results. We propose the use of a multimodal multi-layer perceptron model to enhance the predictive power of structural and functional magnetic resonance imaging (sMRI and fMRI) combined. We also use a synthetic data generator to pre-train each modality input layers, alleviating the effects of the small sample size that is often the case for brain imaging modalities. The proposed model improved the average and uncertainty of the area under the ROC curve to 0.850+-0.051 compared to the best results on individual modalities (0.741+-0.075 for sMRI, and 0.833+-0.050 for fMRI).

연구 동기 및 목표

• 비선형 모델을 활용하여 sMRI와 fMRI 데이터를 융합함으로써 정신분열병 분류 정확도를 향상시키기.
• 사전 훈련을 위한 합성 데이터 생성을 통해 뇌 영상 데이터의 작은 표본 크기 문제를 해결하기.
• 선형 다중모달 분석의 한계를 극복하기 위해 비선형 상호작용을 갖는 깊이 신경망을 도입하기.
• 합성 데이터를 통한 정규화를 통해 다중모달 분류의 불확실성 감소와 일반화 능력 향상하기.
• 제한된 신경영상 데이터셋에 대해 사전 훈련된 깊이 학습 모델의 적용 가능성을 입증하기.

제안 방법

• sMRI 및 fMRI 입력을 위한 별도의 단모달 MLP를 갖는 다중모달 MLP 아키텍처를 설계하였으며, 최종 레이어의 출력을 연결함으로써 융합하였다.
• sMRI 데이터는 회색질 농도(GMC) 지ap로 처리되었고, fMRI 데이터는 저주파 변동의 진폭(ALFF) 지도로 압축되어 특징 기반 융합을 위해 사용되었다.
• 작은 표본 크기 문제를 완화하기 위해 각 모달리티의 입력 레이어를 사전 훈련하기 위해 합성 데이터 생성기가 사용되었다. 이로 인해 20만 개 이상의 합성 샘플이 확보되었다.
• 사전 훈련 중 배치 정규화(MVN)와 기각 샘플링을 적용하여 학습 안정성 향상과 강건성 향상을 도모하였다.
• 과적합 방지를 위해 다중모달 훈련 중 L2 가중치 감쇠와 드롭아웃 정규화 기법을 적용하였다.
• 성능 평가를 위해 8겹 교차검증을 사용하였으며, 주요 평가 지표로 receiver operating characteristic 곡선 아래 면적(AUC)을 사용하였다.

실험 결과

연구 질문

• RQ1 비선형 다중모달 딥 러닝 모델이 선형 방법을 뛰어넘어 정신분열병 분류를 향상시킬 수 있는가?
• RQ2 합성 데이터 사전 훈련이 작은 신경영상 데이터셋에서 MLP의 성능과 일반화 능력을 향상시키는가?
• RQ3 sMRI와 fMRI 데이터의 조합이 개별 모달리티보다 더 예측력이 높은가?
• RQ4 AUC와 교차검증 폴드 간 분산 측면에서 제안된 모델이 표준 분류기들과 비교해 어떻게 성능을 내는가?
• RQ5 합성 데이터로 사전 훈련함으로써 다중모달 뇌 영상 분류에서 불확실성과 과적합이 어느 정도 감소하는가?

주요 결과

• 제안된 다중모달 MLP는 평균 AUC 0.850 ± 0.051을 달성하였으며, 가장 우수한 개별 모달리티 결과인 fMRI(0.833 ± 0.050, p = 0.016)를 뛰어넘는 유의미한 성능 향상을 보였다.
• 다른 분류기들과 비교해 교차검증 폴드 간 AUC 분산이 감소하여 더 높은 강건성과 낮은 불확실성을 나타내었다.
• 합성 데이터로의 사전 훈련은 분류 성능 향상과 분산 감소를 이끌어내어 단모달 MLP에 정규화 효과가 있음을 시사하였다.
• sMRI와 fMRI 데이터의 조합은 개별 모달리티보다 더 높은 예측 능력을 보였으며, 상호보완적 정보의 존재를 뒷받침하는 결과를 얻었다.
• 합성 데이터 생성기를 활용함으로써 실제 데이터셋이 304명(환자 135명, 대조군 169명)으로 제한된 상황에서도 효과적인 훈련이 가능했다.
• 제안된 모델의 성능는 SVM, 로지스틱 회귀, 랜덤 포레스트 등의 다수의 표준 분류기들을 뛰어넘었으며, 이들은 낮은 AUC와 높은 표준편차를 기록하였다.