[논문 리뷰] Can We Assess Mental Health through Social Media and Smart Devices? Addressing Bias in Methodology and Evaluation

Adam Tsakalidis, Maria Liakata외 2명|arXiv (Cornell University)|2018. 07. 19.

Mental Health via Writing참고 문헌 20인용 수 6

한 줄 요약

이 논문은 소셜 미디어 및 스마트폰 데이터를 활용한 정신건강 예측 모델의 실세계 적용 가능성에 대해 평가하며, 현재 최고 수준의 접근 방식이 실용적이고 현실적인 평가 환경—특히 한 명의 사용자를 제외한 교차검증(LOUOCV) 및 한 개의 인스턴스를 제외한 교차검증(LOIOCV)—에서 일반화에 실패함을 입증한다. 이러한 모델들은 단순한 베이지라인, 예를 들어 다수결 투표나 사용자별 평균과 비교해도 성능이 열 劣하다. 이는 현재의 방법론과 평가 관행에 심각한 결함을 드러낸다.

ABSTRACT

Predicting mental health from smartphone and social media data on a longitudinal basis has recently attracted great interest, with very promising results being reported across many studies. Such approaches have the potential to revolutionise mental health assessment, if their development and evaluation follows a real world deployment setting. In this work we take a closer look at state-of-the-art approaches, using different mental health datasets and indicators, different feature sources and multiple simulations, in order to assess their ability to generalise. We demonstrate that under a pragmatic evaluation framework, none of the approaches deliver or even approach the reported performances. In fact, we show that current state-of-the-art approaches can barely outperform the most naïve baselines in the real-world setting, posing serious questions not only about their deployment ability, but also about the contribution of the derived features for the mental health assessment task and how to make better use of such data in the future.

연구 동기 및 목표

• 디지털 페노타이핑 데이터로부터 정신건강 예측을 위한 최첨단 모델이 실세계 배포 환경에서 효과적으로 일반화되는지 조사하기.
• 혼합 교차검증(MIXED)에 대한 과도한 의존이 성능 지표를 과도하게 높이는 등 현재 평가 관행의 방법론적 결함을 드러내기.
• 실제 일반화 능력을 평가하기 위해 이탈리아 사용자 제외 교차검증(LOUOCV) 및 이탈리아 인스턴스 제외 교차검증(LOIOCV) 기반의 더 현실적인 평가 프레임워크를 수립하기.
• 실제로 편향 없는 조건에서 평가했을 때, 소셜 미디어 및 스마트폰 센서에서 유도된 특징이 정신건강 예측에 실제로 기여하는지에 대한 가정을 도전하기.
• 미래 연구를 이끄는 데 도움이 되는 새로운 철저한 평가 및 모델 구축 프레임워크를 제안하기.

제안 방법

• 다양한 특징 소스(텍스트, 센서 데이터, 앱 사용량)를 활용해, 정신건강 목표(예: 웰빙, 우울증 등)가 네 가지인 두 개의 종단적 데이터셋에서 실험을 수행하였다.
• 기존에 높은 성능을 내는 결과를 재현하기 위해 표준 최첨단 평가 프로토콜(MIXED 교차검증)을 적용하였다.
• 실제로 배포되는 환경을 더 잘 반영하기 위해 현실적이고 실용적인 설정인 이탈리아 사용자 제외 교차검증(LOUOCV) 및 이탈리아 인스턴스 제외 교차검증(LOIOCV)을 통해 모델을 재평가하였다.
• 다양한 난잡한 베이지라인, 즉 다수결 투표, 무작위 예측, 사용자 신원 기반 모델, 사용자별 평균과의 성능 비교를 수행하였다.
• 시간적 및 사용자 수준의 독립성 제약 조건을 적용하여 평가의 정확성과 데이터 유출 방지를 보장하였으며, 시간과 개인 간의 데이터 유출을 방지하였다.
• 미래 방향으로는 잠재적 특징 표현에서의 전이학습 및 일반화 능력을 향상시키기 위한 개선된 특징 공학 기법을 제안하였다.

실험 결과

연구 질문

• RQ1 실제 LOUOCV 평가 프레임워크 하에서 최첨단 정신건강 예측 모델이 이전에 본 적 없는 사용자에게 얼마나 잘 일반화되는가?
• RQ2 LOIOCV를 통해 개인화된 모델이 미래 정신건강 상태를 예측할 때, 마지막으로 입력된 기분 점수나 사용자 평균과 같은 단순한 베이지라인을 초월할 수 있는가?
• RQ3 MIXED 교차검증에서 높은 성능을 내는 모델들이 실용적이고 실세계 환경에서는 왜 일반화에 실패하는가?
• RQ4 실제로 편향 없는 조건에서 평가했을 때, 소셜 미디어 및 스마트폰 센서에서 파생된 특징이 정신건강 예측에 어떤 역할을 하는가?
• RQ5 미래 연구는 과도한 피팅을 방지하고 신뢰할 수 있고 실제 적용 가능한 정신건강 예측 시스템을 확보하기 위해 어떻게 평가 프레임워크를 설계할 수 있는가?

주요 결과

• 실용적인 평가 프레임워크(LOUOCV 및 LOIOCV) 하에서 최첨단 모델은 다수결 투표나 사용자별 평균과 같은 가장 기본적인 베이지라인조차도 앞서지 못한다.
• 이전에 본 적 없는 사용자나 인스턴스에 대해 평가할 경우 성능이 크게 떨어지며, 이는 이전 MIXED 교차검증 설정에서의 심각한 과적합을 시사한다.
• 기존 연구에서 널리 사용되는 MIXED 평가 설정은 성능 지표를 지나치게 낙관적으로 만드며, 실세계 배포에서의 성능을 보장하지 못한다.
• LOIOCV에서 훈련 및 테스트 인스턴스 간의 시간적 의존성은 과도하게 낙관적인 성능 추정을 초래하며, i.i.d. 가정을 위반하고 일반화 주장의 타당성을 약화시킨다.
• 실제 조건에서 평가했을 때 사용자 생성 특징(예: 텍스트, 센서 데이터)이 정신건강 예측에 기여하는 바가 무작위 노이즈와 구별되지 않는다.
• 복잡한 특징 공학 및 딥러닝 기법을 사용해 훈련된 모델들조차도 특정 사용자나 시간 창에만 일반화되는 것으로 밝혀져, 현재 방법론의 근본적인 한계를 드러낸다.