[논문 리뷰] dpMood: Exploiting Local and Periodic Typing Dynamics for Personalized Mood Prediction

He Huang, Bokai Cao외 3명|arXiv (Cornell University)|2018. 08. 29.

Mental Health Research Topics참고 문헌 28인용 수 3

한 줄 요약

이 논문은 이질적인 스마트폰 메타데이터에서의 국소적 타이핑 역학과 일주기 리듬을 활용하여 양극성 장애 환자를 위한 개인화된 기분 예측을 가능하게 하는 딥러닝 모델 dpMood을 제안한다. CNN과 RNN의 조기 융합을 통해 가속도계 및 타이핑 데이터를 융합하고, 시간 기반 모델링을 통해 개인별로 예측을 校정함으로써, 이전 방법들보다 낮은 회귀 오차를 기록하며 HDRS 및 YMRS 점수 예측에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Mood disorders are common and associated with significant morbidity and mortality. Early diagnosis has the potential to greatly alleviate the burden of mental illness and the ever increasing costs to families and society. Mobile devices provide us a promising opportunity to detect the users' mood in an unobtrusive manner. In this study, we use a custom keyboard which collects keystrokes' meta-data and accelerometer values. Based on the collected time series data in multiple modalities, we propose a deep personalized mood prediction approach, called {\pro}, by integrating convolutional and recurrent deep architectures as well as exploring each individual's circadian rhythm. Experimental results not only demonstrate the feasibility and effectiveness of using smart-phone meta-data to predict the presence and severity of mood disturbances in bipolar subjects, but also show the potential of personalized medical treatment for mood disorders.

연구 동기 및 목표

• 양극성 장애 환자를 대상으로 비침습적인 스마트폰 센서 데이터를 활용한 개인화된 기분 예측 시스템을 개발하기 위해.
• 기분 상태에서 타이핑 역학과 일주기 리듬의 국소적 패턴을 포착하는 데 도전하기 위해.
• 딥러닝을 통해 다중 모odal 스마트폰 데이터(타이핑 및 가속도계)를 융합함으로써 예측 정확도를 향상시키기 위해.
• 기분 예측을 위한 다중 시계열 데이터의 다중 시각 융합 전략(조기 융합 대 후기 융합)을 탐색하기 위해.
• 시간 패턴을 기반으로 개인별로 예측을 校정하여 개인화된 일주기 리듬을 반영하기 위해.

제안 방법

• 모델는 타이핑 시퀀스의 국소적 패턴을 포착하기 위한 합성곱 신경망(CNNs)과 장기적 시간 동역학을 모델링하기 위한 순환 신경망(RNNs)을 조합한 후기 융합 아키텍처를 사용한다.
• 타이핑 및 가속도계 특징의 조기 융합 전략이 탐색되었으며, 기분 예측 성능에서 후기 융합보다 뛰어난 성능을 보임을 입증하였다.
• 개별 사용자별로 시간 기반 보정 메커니즘이 적용되어 개인의 일주기 리듬을 모델링함으로써 개인화 및 예측 정확도가 향상되었다.
• 모델는 타이핑 메타데이터(예: 키 누르기 지속 시간, 간격)를 위한 하나의 스트림과 가속도계 데이터를 위한 다른 하나의 스트림을 갖는 이중 스트림 인코더를 사용하며, 이후 특징을 연결한다.
• 최종 예측 헤드는 힘슨 우울증 평가 척도(HDRS) 및 영 만성 평가 척도(YMRS) 점수에 대한 회귀를 수행한다.
• 모델는 양극성 장애와 우울증 심각도를 동시에 예측하기 위해 다중 작업 학습을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 스마트폰 타이핑 역학의 국소적 패턴은 양극성 장애 환자의 기분 상태를 예측할 수 있는가?
• RQ2 개별 환자의 일주기 리듬을 통합함으로써 개인화된 기분 예측 정확도는 어떻게 향상되는가?
• RQ3 타이핑 및 가속도계를 포함한 다중 모달 스마트폰 데이터의 조기 융합이 기분 예측에서 후기 융합보다 우월한가?
• RQ4 CNN과 RNN을 융합한 딥러닝 모델은 기분 예측을 위한 타이핑 역학에서 국소적 및 전반적인 시간 패턴을 얼마나 잘 포착할 수 있는가?
• RQ5 사용자별 시간 기반 보정은 기분 심각도 추정의 정밀도를 어떻게 향상시킬 수 있는가?

주요 결과

• dpMood는 기준 모델 대비 HDRS 및 YMRS 예측 작업에서 가장 낮은 회귀 오차를 기록하여 기분 심각도 추정에서 뛰어난 성능을 입증하였다.
• 타이핑 및 가속도계 특징의 조기 융합 전략은 후기 융합 대비 예측 정확도를 크게 향상시켰으며, 이는 공동 특징 학습이 더 효과적임을 시사한다.
• 각 주제는 고유한 일주기 리듬을 보이며, 기분 역학에서 고유한 사인 파동 패턴을 나타내어 생물학적 시간의 개인 차이를 확인하였다.
• 일주기 모델의 오프셋 항목 δu는 진단에 따라 군집화되었으며, 대조군은 양의 오프셋을, 양극성 I형 및 II형 환자는 음의 오프셋을 보였으며, 임상적 기대와 일치하였다.
• 모델는 타이핑 역학의 개인별 고유 패턴을 성공적으로 포착하여, 텍스트 내용에 접근하지 않더라도 정밀한 개인화된 기분 예측을 가능하게 하였다.
• dpMood의 오픈소스 코드는 공개되어 있어 재현성 및 디지털 페노타이핑 분야의 향후 연구를 지원한다.