[논문 리뷰] Cognitive Assessment Estimation from Behavioral Responses in Emotional Faces Evaluation Task -- AI Regression Approach for Dementia Onset Prediction in Aging Societies

Tomasz M. Rutkowski, Masato Abe외 2명|arXiv (Cornell University)|2019. 11. 25.

Dementia and Cognitive Impairment Research참고 문헌 11인용 수 6

한 줄 요약

이 연구는 반응 시간, 정서적 평가(정서의 긍정성/자극성 평가), 나이, 교육 수준 등의 행동 반응을 바탕으로 공간적이고 암묵적인 작업기억 과제에서 정서적 얼굴 영상 사용 시 Montreál Cognitive Assessment(MoCA) 점수를 추정하는 AI 회귀 모델을 제안한다. 20명의 노인을 대상으로 한 한 명의 참가자를 제외한 교차검증을 통해 모델은 낮은 중앙값 회귀 오차(최저 0.86)를 기록하여, 노령화 인구에서 객관적이고 비침습적인 치매 발병 예측의 강력한 잠재력을 보여주었다.

ABSTRACT

We present a practical health-theme machine learning (ML) application concerning `AI for social good' domain for `Producing Good Outcomes' track. In particular, the solution is concerning the problem of a potential elderly adult dementia onset prediction in aging societies. The paper discusses our attempt and encouraging preliminary study results of behavioral responses analysis in a working memory-based emotional evaluation experiment. We focus on the development of digital biomarkers for dementia progress detection and monitoring. We present a behavioral data collection concept for a subsequent AI-based application together with a range of regression encouraging results of Montreal Cognitive Assessment (MoCA) scores in the leave-one-subject-out cross-validation setup. The regressor input variables include experimental subject's emotional valence and arousal recognition responses, as well as reaction times, together with self-reported education levels and ages, obtained from a group of twenty older adults taking part in the reported data collection project. The presented results showcase the potential social benefits of artificial intelligence application for elderly and establish a step forward to develop ML approaches, for the subsequent application of simple behavioral objective testing for dementia onset diagnostics replacing subjective MoCA.

연구 동기 및 목표

• 주관적인 종이-필기 시험 대신 행동 반응을 사용하여 조기 치매 발병 예측을 위한 객관적이고 비침습적인 방법을 개발하기 위해.
• 암묵적이고 공간적 작업기억 과제를 활용한 정서적 얼굴을 디지털 바이오마커로 활용할 수 있는지 타당성을 탐색하기 위해.
• 기존의 MoCA 평가를 대체하거나 보완하기 위해 AI 기반 행동 분석을 활용하여 고령 인구에서의 접근성과 객관성을 향상시키기 위해.
• 행동 및 인구통계적 특성에서 MoCA 점수를 예측하는 데 다수의 기계학습 회귀 모델의 성능을 평가하기 위해.
• 향후 신경생리학적 신호(예: EEG, fNIRS)와의 통합을 위한 기반을 마련하기 위해.

제안 방법

• 20명의 노인을 대상으로 정면 표정의 2차원 이모지 격자로 표현된 정서의 긍정성과 자극성을 평가하는 터치패드 기반의 정서적 얼굴 평가 과제를 수행한 행동 실험을 실시하였다.
• 기계학습 모델의 입력 특성으로 반응 시간, 정서의 긍정성/자극성 평가, 나이, 교육 수준 등의 반응 데이터를 수집하였다.
• 모델의 일반화 능력과 과적합 방지를 위해 한 명의 참가자를 제외한 교차검증 전략을 적용하였다.
• Huber, 선형, RBF/SVM, 다항식 SVM, 랜덤 포레스트 등 여러 scikit-learn 회귀 모델을 훈련하고 비교하였다.
• 기본 초모수를 사용하며 약간의 조정을 시행: RBF 및 다항식 커널의 경우 γ = 1/7, 다항식 SVM의 경우 degree = 3, 랜덤 포레스트의 경우 max depth = 10, n_estimators = 200으로 설정하였다.
• 교차검증 지표를 사용하여 MoCA 점수 예측을 위한 회귀 성능와 MCI 대비 정상 인지 상태를 구분하는 이진 분류 성능를 함께 평가하였다.

실험 결과

연구 질문

• RQ1 작업기억 기반의 정서적 얼굴 평가 과제에서의 행동 반응이 MoCA 점수를 높은 정확도로 예측할 수 있는가?
• RQ2 비침습적인 행동 및 인구통계적 특성에서 인지 상태를 예측하는 데 있어 어떤 기계학습 회귀 모델이 가장 우수한 성능를 보이는가?
• RQ3 반응 시간과 정서적 긍정성/자극성 평가가 조기 인지 저하의 신뢰할 수 있는 디지털 바이오마커로 기능할 수 있는가?
• RQ4 AI 기반의 회귀 모델 성능가 주관적인 전통적 평가 방법에 비해 경도인지장애(MCI) 탐지에 얼마나 뛰어난가?
• RQ5 행동 데이터만으로 고령 인구에서 조기 치매 발병 예측을 어느 정도 지원할 수 있는가?

주요 결과

• 랜덤 포레스트 회귀 모델이 중앙값 회귀 오차 0.86을 기록하여 나이브 평균 기준선(1.5 오차)을 크게 뛰어넘는 뛰어난 성능를 보였다.
• 선형 서포트 벡터 회귀 모델(LinearSVR)은 중앙값 오차 1.03을 기록하여 강력한 예측 성능를 입증하였다.
• 로지스틱 회귀, LDA, 랜덤 포레스트를 사용한 MCI 대비 정상 인지 상태의 이진 분류 성능는 한 명의 참가자를 제외한 교차검증에서 중앙값 정확도 99%를 달성하였다.
• RBF-SVR 및 다항식-SVR 모델은 낮은 정확도(각각 92%, 89%)를 기록하여 커널 선택이 이 작은 데이터셋에서 성능에 영향을 미칠 수 있음을 시사하였다.
• 쌍별 산점도는 MoCA 점수와 반응 시간, 정서적 긍정성 반응과 같은 핵심 행동 특성 간 명확한 선형 관계를 보여주었다.
• 결과적으로, 간단하고 임상적이지 않은 과제에서의 행동 반응이 높은 정밀도로 MoCA 점수를 예측할 수 있음을 입증하여, AI 기반 인지 스크리닝의 타당성을 뒷받침한다.