[논문 리뷰] Multi-site benchmark classification of major depressive disorder using machine learning on cortical and subcortical measures

V. Belov, Tracy Erwin-Grabner외 64명|arXiv (Cornell University)|2022. 06. 16.

Functional Brain Connectivity Studies인용 수 7

한 줄 요약

이 연구는 다수의 기관에서 수집한 5,356명의 참가자로부터의皮質 및 피부질 뇌 측정치를 사용하여 우울성 장애(MDD)를 분류하기 위해 현재까지 가장 큰 다기지 기반의 머신러닝 벤치마크를 제시한다. 표준화된 ENIGMA 파이프라인과 ComBat 조정을 통해 모델은 건강한 대조군과의 구분에서 62%의 균형 잡힌 정확도를 달성하였으며, 조정 이후에는 52%로 감소하여 대규모 데이터 통합에도 불구하고 일반화 가능성에 도전 과제가 있음을 시사한다.

ABSTRACT

Machine learning (ML) techniques have gained popularity in the neuroimaging field due to their potential for classifying neuropsychiatric disorders. However, the diagnostic predictive power of the existing algorithms has been limited by small sample sizes, lack of representativeness, data leakage, and/or overfitting. Here, we overcome these limitations with the largest multi-site sample size to date (n=5,356) to provide a generalizable ML classification benchmark of major depressive disorder (MDD). Using brain measures from standardized ENIGMA analysis pipelines in FreeSurfer, we were able to classify MDD vs healthy controls (HC) with around 62% balanced accuracy, but when harmonizing the data using ComBat balanced accuracy dropped to approximately 52%. Similar results were observed in stratified groups according to age of onset, antidepressant use, number of episodes and sex. Future studies incorporating higher dimensional brain imaging/phenotype features, and/or using more advanced machine and deep learning methods may achieve more encouraging prospects.

연구 동기 및 목표

• 신경영상 데이터를 활용한 주요 우울성 장애(MDD) 분류를 위한 일반화 가능한 대규모 벤치마크를 구축하기 위해.
• 이전 연구의 한계인 작은 표본 크기, 데이터 泄漏, 과적합 문제를 해결하기 위해 5,356명의 참가자로 구성된 다기지 데이터셋을 활용하기 위해.
• ComBat를 사용한 데이터 조정이 다양한 영상 기관 간 모델 성능 및 일반화 가능성에 미치는 영향을 평가하기 위해.
• 나이 발생 시기, 항우울제 사용 여부, 발병 횟수, 성별 등의 임상적으로 관련성이 있는 하위군에서의 모델 성능을 평가하기 위해.
• 구조적 MRI 특징을 활용한 향후 MDD 분류를 위한 표준화되고 재현 가능한 프레임워크를 제공하기 위해.

제안 방법

• ENIGMA 연합을 통해 다수 기관에서 표준화된 FreeSurfer 파이프라인을 활용해 도출된 피질 및 피부질 뇌 형태 측정치를 사용하였다.
• 다기지 신경영상 데이터 간의 배치 효과를 보정하기 위해 ComBat을 적용하여 모델 훈련 이전에 데이터 조정을 보장하였다.
• 균형 잡힌 정확도를 주요 지표로 사용하여 MDD 대 비환자 대조군 간의 이진 분류를 위한 다양한 머신러닝 모델을 훈련 및 평가하였다.
• 나이 발생 시기, 항우울제 사용 여부, 우울 발병 횟수, 성별로 정의된 하위군에 대해 분류된 분석을 수행하여 모델의 강건성 평가를 수행하였다.
• 데이터 泄漏를 방지하고 신뢰할 수 있는 성능 추정을 보장하기 위해 10겹 교차검증과 내재된 교차검증을 사용하였다.
• 균형 잡힌 정확도를 성능 평가 지표로 사용하였으며, 불균형 데이터셋에 적합한 지표이자 95% 신뢰구간을 보고하였다.

실험 결과

연구 질문

• RQ1 다기지 피질 및 피부질 MRI 측정치를 사용하여 MDD 대 비환자 대조군을 분류하는 데 있어서 달성 가능한 균형 잡힌 정확도의 최대치는 무엇인가?
• RQ2 ComBat를 활용한 데이터 조정이 MDD 분류에서 머신러닝 모델의 일반화 가능성과 성능에 어떤 영향을 미치는가?
• RQ3 나이 발생 시기, 항우울제 사용 여부, 발병 횟수, 성별 등의 임상적으로 관련성이 있는 하위군에서 모델 성능은 어떻게 변하는가?
• RQ4 다기지 데이터에서 유래한 배치 효과가 MDD 분류 모델의 신뢰성과 재현 가능성에 얼마나 영향을 미치는가?
• RQ5 대규모이고 조정된 데이터셋이 향후 MDD 머신러닝 연구를 위한 강력하고 일반화 가능한 기준을 제공할 수 있는가?

주요 결과

• 머신러닝 모델은 다기지 데이터에서 조정되지 않은 상태에서 MDD 대 비환자 대조군을 분류하는 데 62%의 균형 잡힌 정확도를 달성하였다.
• ComBat를 사용한 데이터 조정 이후 균형 잡힌 정확도는 약 52%로 감소하여 배치 효과가 모델 성능에 상당한 영향을 미친다는 점을 시사한다.
• 하위군에 대한 분류 분석 결과, 나이 발생 시기, 항우울제 사용 여부, 발병 횟수, 성별로 정의된 하위군 전반에서 일관된 성능 저하가 관찰되었다.
• 5,356명의 참가자로 구성된 대규모 표본에도 불구하고 잔류하는 기관 특이적 변동성으로 인해 일반화가 여전히 도전 과제임을 입증하였다.
• 향후 MDD 분류의 향상은 더 높은 차원의 신경영상 또는 표현형 특징과 더 고급의 딥 러닝 아키텍처가 필요할 것임을 시사한다.
• 본 연구는 MDD 분류의 기준을 설정하였으며, 데이터 조정의 핵심적 역할과 현재의 형태 측정 특징이 높은 진단 정확도를 달성하는 데에 한계가 있음을 강조한다.