[논문 리뷰] Prediction of Autism Treatment Response from Baseline fMRI using Random Forests and Tree Bagging

Nicha C. Dvornek, Daniel Y.‐J. Yang외 5명|arXiv (Cornell University)|2018. 05. 24.

Autism Spectrum Disorder Research참고 문헌 13인용 수 6

한 줄 요약

이 연구는 자폐성 장애(ASD)를 가진 어린이의 기초 임상적 작업 기반 fMRI에서 Pivotal Response Treatment(PRT)에 대한 개인의 반응을 예측하기 위해 랜덤 포레스트 회귀와 트리 백킹을 사용하는 새로운 기계학습 파이프라인을 제안한다. 사회적 동기와 관련된 뇌 영역에서 유의미한 볼륨을 선별하고, 편향 보정을 통한 단계적 모델 정련을 적용함으로써, 유한한 표본 크기에서의 예측 정확도가 가장 높아졌으며, 이는 유사한 교차 검증에서 R = 0.83의 높은 정확도를 달성하여 기존 표준 방법들을 뛰어넘었다.

ABSTRACT

Treating children with autism spectrum disorders (ASD) with behavioral interventions, such as Pivotal Response Treatment (PRT), has shown promise in recent studies. However, deciding which therapy is best for a given patient is largely by trial and error, and choosing an ineffective intervention results in loss of valuable treatment time. We propose predicting patient response to PRT from baseline task-based fMRI by the novel application of a random forest and tree bagging strategy. Our proposed learning pipeline uses random forest regression to determine candidate brain voxels that may be informative in predicting treatment response. The candidate voxels are then tested stepwise for inclusion in a bagged tree ensemble. After the predictive model is constructed, bias correction is performed to further increase prediction accuracy. Using data from 19 ASD children who underwent a 16 week trial of PRT and a leave-one-out cross-validation framework, the presented learning pipeline was tested against several standard methods and variations of the pipeline and resulted in the highest prediction accuracy.

연구 동기 및 목표

• ASD 환자에게 효과적인 행동 치료법을 식별하는 임상적 과제를 해결하기 위해, 현재는 반응의 변동성이 크기 때문에 시행착오에 의존하고 있는 상황을 개선하고자 한다.
• 기초 fMRI 데이터를 활용하여 Pivotal Response Treatment(PRT)에 대한 개인의 반응을 예측하는 데이터 기반 접근법을 개발하고자 한다. PRT는 ASD에 대한 주요 근거 기반 치료법이다.
• 뇌영상 분석에서의 '큰 p, 작은 n' 문제를 해결하기 위해, 랜덤 포레스트를 활용한 강력한 변수 선택 및 앙상블 학습을 통해 예측 정확도를 향상시키고자 한다.
• 단계적 변수 정련 및 편향 보정을 통해 모델 성능을 향상시키고, 특히 결과 분포의 극단적인 값에서의 예측 정확도를 향상시키고자 한다.

제안 방법

• 초기 입력은 사회적 동기와 관련된 뇌 영역(전측두엽 피질, 중측전두엽 전두엽 피질, 편도체, 내측성 편도체)의 fMRI 볼륨에서의 t-통계치 값이다.
• 랜덤 포레스트 회귀를 사용하여 볼륨 중요도를 순위 매기며, 교차 검증 시행 평균으로 상위 13개의 후보 예측 변수를 선별한다.
• 의미 있는 순서로 후보 볼륨을 단계적으로 포함함으로써 백킹 트리 앙상블을 구축하며, 중복되거나 노이즈가 많은 입력을 걸러내어 모델의 안정성과 정확도를 향상시킨다.
• 모델 학습 후 편향 보정을 적용하여 예측 오차를 줄이며, 특히 극단적인 결과 값에서의 오차를 감소시켜 정확도를 추가로 향상시킨다.
• 19명의 ASD 어린이가 16주간 PRT를 받은 fMRI 및 SRS 점수 데이터를 대상으로 유한한 표본 크기에서의 교차 검증을 통해 파이프라인을 평가한다.
• 평균 제곱오차(MSE), 상관계수(r), 절대 오차 비율(RAE), 평균 절대 퍼센티지 오차(MAPE) 등의 지표를 사용하여 성능을 평가하며, 유의성 검정을 위해 순열 검정을 실시한다.

실험 결과

연구 질문

• RQ1 PRT 치료 전에 수집한 작업 기반 fMRI 데이터는 자폐성 장애를 가진 어린이의 치료 반응을 개인별로 예측할 수 있는가?
• RQ2 작은 표본 크기의 뇌영상 연구에서, 랜덤 포레스트 기반 변수 선택 전략은 기존 기계학습 방법에 비해 예측 정확도를 어떻게 향상시키는가?
• RQ3 백킹 트리 앙상블에 후보 볼륨을 단계적으로 포함시키는 방식은 랜덤 포레스트 단독 사용에 비해 더 나은 예측 성능을 내는가?
• RQ4 편향 보정은 특히 치료 결과가 극단적인 환자들에서 예측 정확도를 얼마나 향상시키는가?
• RQ5 어느 특정 뇌 영역과 볼륨이 PRT 반응 예측에 가장 유용한가?

주요 결과

• 제안된 파이프라인인 RF-BS-BC(RF-백킹 및 편향 보정)는 실제 SRS 점수 변화와 예측된 변화 사이의 상관계수(r)가 0.83으로 가장 높은 예측 정확도를 달성하였다.
• 표준 랜덤 포레스트(r = 0.39) 및 서포트 벡터 머신(SVM, r = 0.46)에 비해 유의미하게 높은 성능을 보였으며, 상관계수 향상에 대한 p-값은 0.001이었다.
• 편향 보정을 통해 보정이 없는 모델 대비 예측 오차가 20% 이상 감소하였으며, 특히 극단적인 결과를 보이는 환자에서 정확도 향상이 두드러졌다.
• 교차 검증 루프 평균으로 최종 입력으로 선택된 볼륨은 평균 5개에 불과하여, 단계적 정련 과정에서 노이즈 및 중복 요소가 효과적으로 걸러졌음을 시사한다.
• 전측두엽 피질과 편도체가 가장 정보가 많은 뇌 영역으로 규명되었으며, 이들 영역의 볼륨이 최종 예측 모델에 가장 자주 포함되었다.
• 순열 검정 결과, 기준 랜덤 포레스트 및 SVM을 포함한 모든 모델이 fMRI 입력과 치료 결과 간의 의미 있는 관계를 학습한 것으로 확인되었으며, 모든 모델에서 p < 0.05의 유의미성 수준을 확보하였다(SVM의 후처리 오차 제외).