[논문 리뷰] Multi-Task Learning for Mental Health using Social Media Text

Adrian Benton, Margaret Mitchell외 1명|arXiv (Cornell University)|2017. 12. 10.

Mental Health via Writing참고 문헌 32인용 수 60

한 줄 요약

이 논문은 Twitter 텍스트에서 자살 위험 및 여러 정신 건강 상태를 예측하는 신경망 다중 작업 학습(MTL) 프레임워크를 제시하고, 성별을 보조 작업으로 사용하며, 데이터가 희소한 조건일수록 단일 작업 baselines 대비 개선을 보인다.

ABSTRACT

We introduce initial groundwork for estimating suicide risk and mental health in a deep learning framework. By modeling multiple conditions, the system learns to make predictions about suicide risk and mental health at a low false positive rate. Conditions are modeled as tasks in a multi-task learning (MTL) framework, with gender prediction as an additional auxiliary task. We demonstrate the effectiveness of multi-task learning by comparison to a well-tuned single-task baseline with the same number of parameters. Our best MTL model predicts potential suicide attempt, as well as the presence of atypical mental health, with AUC > 0.8. We also find additional large improvements using multi-task learning on mental health tasks with limited training data.

연구 동기 및 목표

• 소셜 미디어 텍스트에서 자살 위험 및 정신 건강 상태를 예측하기 위한 다중 작업 학습(MTL)의 활용성을 보여준다.
• 성별을 포함한 보조 작업과 작업 선택이 예측 성능에 미치는 영향을 탐색한다.
• 동일한 파라미터 수를 가진 단일 작업(STL) 기준선과의 공정한 비교를 제공하여 MTL의 이점을 고립한다.
• 공유 표현을 통해 학습 데이터가 제한된 작업에 대해 MTL이 이점을 제공하는 방식을 보여준다.
• 낮은 위양성률을 강조하는 지표(TPR@FPR=0.1 등)를 통해 실용적 임상 관련성을 평가한다.

제안 방법

• 여러 정신 건강 예측 작업을 위해 공유 입력-히든 표현과 작업별 히든 계층을 갖는 신경망 다중 작업 아키텍처를 사용한다.
• 입력은 전체 Twitter 기록에서 파생된 1-그램부터 5-그램 문자 특징의 빈도(상위 5,000개 n-그램)로 표현한다.
• 미니 배치 Adagrad로 훈련하고 모든 작업을 공동 최적화하여 분리된 데이터 간 비동기 업데이트를 가능하게 한다.
• MTL을 문자 n-그램에 대한 기준선 로지스틱 회귀(LR) 및 동일 파라미터 수를 가진 단일 작업 학습(STL) 신경 모델과 비교한다.
• ROC/AUC 및 FPR=0.1에서의 TPR, 그리고 정밀도-재현율 분석을 정신 건강 상태 및 성별 집합에 걸쳐 평가한다.
• 주요 보조 작업 부분집합의 영향을 평가하고 공존 질환의 이점을 분석하기 위해 다양한 보조 작업 부분집합으로 실험한다.

실험 결과

연구 질문

• RQ1 같은 파라미터 수를 가진 단일 작업 모델 대비 다중 작업 학습이 자살 위험 및 정신 건강 상태 예측을 개선하는가?
• RQ2 성별을 보조 작업으로 포함하는 것이 각 조건에서 예측 정확도에 미치는 영향은?
• RQ3 특히 양극성 장애 및 PTSD와 같은 데이터가 적은 조건에서 보조 작업의 선택이 성능에 어떤 영향을 미치는가?
• RQ4 여러 관련 질환(동시발생)을 예측하는 것이 희귀 질환 예측을 개선하기 위한 정규화로 작용할 수 있는가?
• RQ5 선정된 주요 작업(예: 불안, 우울, 자살)에 대해 성능을 극대화하는 최적의 작업 부분집합이 있는가?

주요 결과

• MTL은 STL 및 LR보다 여러 정신 건강 예측에서 성능을 향상시키며, 예를 들어 자살 예측에서 MTL은 AUC 0.848을 달성한다.
• MTL은 성별을 보조 작업으로 포함한 경우 불안, 공황, PTSD를 포함한 여러 조건에서 성능을 향상시킨다.
• MTL은 데이터가 적은 조건에서 데이터가 풍부한 조건과의 동반 질환을 활용해 현저한 이득을 얻는다.
• PTSD AUC는 LR에서 0.770에서 0.786(MTL)로 개선되며, STL은 더 나쁘다(0.667); 양극성은 LR에서 0.752 / STL 0.552에서 0.723(MTL)로 개선된다.
• 모든 보조 작업을 사용하면 neuroatypicality, suicide, depression, anxiety, eating disorders, panic, schizophrenia, bipolar, 그리고 PTSD를 포함한 주요 작업에서 최상의 성능을 얻으며, 성별을 보조로 하는 것은 일반적으로 도움이 되지만 성별 예측 자체에는 일관되게 도움이 되는 것은 아니다.