[논문 리뷰] Disability prediction in multiple sclerosis using performance outcome measures and demographic data

Subhrajit Roy, Diana Mincu외 9명|arXiv (Cornell University)|2022. 04. 08.

Multiple Sclerosis Research Studies인용 수 4

한 줄 요약

이 연구는 우리 지식에 비추어 볼 때, 기초 영상 또는 검사 결과에 의존하지 않고 성능 결과 측정치(POMs)와 인구통계학적 자료만을 사용하여 다발성 경화증(MS)의 기능 장애 진행을 정확하게 예측할 수 있음을 처음으로 입증한다. 이는 임상 및 스마트폰 기반 환경 모두에서 신뢰할 수 있고 확장 가능하며 저비용의 모니터링을 가능하게 한다. 이 방법은 다양한 데이터셋과 모델 유형에서 뛰어난 예측 성능를 보이며, 인구통계학적 하위군 간 일관성 있고 특징 제거에 대한 강건성 또한 확보한다.

ABSTRACT

Literature on machine learning for multiple sclerosis has primarily focused on the use of neuroimaging data such as magnetic resonance imaging and clinical laboratory tests for disease identification. However, studies have shown that these modalities are not consistent with disease activity such as symptoms or disease progression. Furthermore, the cost of collecting data from these modalities is high, leading to scarce evaluations. In this work, we used multi-dimensional, affordable, physical and smartphone-based performance outcome measures (POM) in conjunction with demographic data to predict multiple sclerosis disease progression. We performed a rigorous benchmarking exercise on two datasets and present results across 13 clinically actionable prediction endpoints and 6 machine learning models. To the best of our knowledge, our results are the first to show that it is possible to predict disease progression using POMs and demographic data in the context of both clinical trials and smartphone-base studies by using two datasets. Moreover, we investigate our models to understand the impact of different POMs and demographics on model performance through feature ablation studies. We also show that model performance is similar across different demographic subgroups (based on age and sex). To enable this work, we developed an end-to-end reusable pre-processing and machine learning framework which allows quicker experimentation over disparate MS datasets.

연구 동기 및 목표

• 성능 결과 측정치(POMs)와 인구통계학적 자료만으로 뇌영상 또는 검사 결과에 의존하지 않고 다발성 경화증(MS) 기능 장애 진행을 예측할 수 있는지 조사한다.
• 공개된 두 개의 MS 데이터셋인 MSOAC와 Floodlight에서 다양한 기계학습 모델을 기준으로 비교 평가한다.
• 모델 성능을 연령 및 성별 등의 인구통계학적 하위군 간에서 평가하여 공정성과 일반화 능력을 확보한다.
• 이질적인 MS 데이터셋 간 효율적인 비교 평가를 위한 재사용 가능한 종단간 전처리 및 모델링 프레임워크를 개발한다.
• 특징 제거 분석을 통해 개별 POMs와 인구통계학적 특징의 기여도를 이해한다.

제안 방법

• 연구는 임상 방문(=MSOAC) 또는 스마트폰 앱(=Floodlight)을 통해 수집된 시간순서가 부여된 다차원 POMs(보행, 균형, 인지, 정교운동 등)와 인구통계학적 자료(연령, 성별)를 사용한다.
• 표준화되고 재사용 가능한 전처리 파이프라인을 통해 다양한 MS 데이터셋을 동일한 형식으로 변환하여 일관된 레이블 생성 및 지표 계산을 가능하게 한다.
• 13개의 임상적으로 유의미한 예측 목표(예: EDSS >3, EDSS >5, EDSS 중증도 범주 등)와 두 가지 예측 기간(6–12개월 및 12–24개월)에서 XGBoost, LightGBM, CatBoost, DenseNet, TCN, Transformer 등 6종의 기계학습 모델을 평가한다.
• 모델 성능은 AU-PRC로 평가하며, 연령 및 성별에 따른 하위군 분석을 통해 공정성과 강건성을 평가한다.
• 특징 제거 분석을 통해 POMs와 인구통계학적 특징을 체계적으로 제거하여 각 특징의 예측 성능에 기여도를 정량화한다.
• 시계열 모델링을 위해 TCN 및 Transformer 모델을 활용하여 POMs의 순차적 패턴이 장기 예측에 기여하는지 평가한다.

실험 결과

연구 질문

• RQ1 POMs와 인구통계학적 자료만으로 임상 시험 및 스마트폰 기반 환경에서 임상적으로 의미 있는 정확도로 MS 기능 장애 진행을 예측할 수 있는가?
• RQ2 다양한 MS 데이터셋과 예측 기간에서 다양한 기계학습 모델의 성능는 어떻게 다른가?
• RQ3 모델 성능가 연령 및 성별 등의 인구통계학적 하위군 간에 유의미하게 차이가 나는가? 이는 잠재적인 편향 또는 공정성 문제를 시사하는가?
• RQ4 어느 POMs와 인구통계학적 특징이 예측 성능에 가장 큰 기여를 하는가? 인구통계학적 자료는 높은 정확도를 달성하는 데 필수적인가?
• RQ5 재사용 가능한 종단간 프레임워크는 이질적인 데이터셋 간에 효율적인 비교 평가 및 향후 MS 진행 예측 모델 개발을 가능하게 하는가?

주요 결과

• 연구는 MSOAC 및 Floodlight 데이터셋 모두에서 뛰어난 예측 성능를 달성하였으며, TCN 및 Transformer 모델이 시계열 패턴을 효과적으로 모델링함으로써 장기 예측에서 뛰어난 성능를 보였다.
• 모델 성능는 인구통계학적 하위군 간 일관되게 유지되었으며, 남성과 여성 간 AU-PRC 값이 유사했고, 연령군 50–70세는 전체 데이터셋과 비슷하거나 略로 낮은 성능를 보였으며, 이는 코hort의 대부분이 복수발작-완화형임을 감안할 때 놀라운 결과이다.
• 가장 어린 연령군(30세 미만)은 AU-PRC가 가장 크게 하락하여 초기 발병 MS 진행 예측에 잠재적인 도전 과제가 있음을 시사한다.
• 인구통계학적 자료 없이 POMs만을 사용한 모델의 성능는 전체 특징 세트와 유사하여, 예측 성능를 높이기 위해 인구통계학적 자료가 반드시 필요하다는 의문을 제기하며, 개인정보 보호와의 상충 관계를 부각시킨다.
• 특징 제거 분석 결과, 특히 운동 기능 및 인지 관련 POMs가 다른 특징들보다 모델 성능에 더 크게 기여하는 것으로 확인되었다.
• 제안된 종단간 프레임워크는 신뢰할 수 있는 데이터셋 수신, 확장 가능한 레이블 생성, 일관된 지표 계산을 가능하게 하여 이질적인 MS 데이터셋 간 신속한 실험을 지원한다.