[논문 리뷰] Text-based depression detection on sparse data

Heinrich Dinkel, Mengyue Wu외 1명|arXiv (Cornell University)|2019. 04. 08.

Mental Health via Writing참고 문헌 50인용 수 27

한 줄 요약

이 논문은 희소한 임상 데이터에서 텍스트 기반 우울증 탐지에 사전 훈련된 문장 수준 임베딩을 갖춘 다중 작업 BGRU 모델을 제안한다. 이 모델은 동시에 우울증 유무와 심각도를 예측함으로써 DAIC-WOZ 개발 세트에서 매크로 F1 스코어 0.84와 MAE 3.48을 달성하며, 문장 수준의 임베딩과 다중 작업 학습이 저자원 임상 텍스트에서 성능을 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Previous text-based depression detection is commonly based on large user-generated data. Sparse scenarios like clinical conversations are less investigated. This work proposes a text-based multi-task BGRU network with pretrained word embeddings to model patients' responses during clinical interviews. Our main approach uses a novel multi-task loss function, aiming at modeling both depression severity and binary health state. We independently investigate word- and sentence-level word-embeddings as well as the use of large-data pretraining for depression detection. To strengthen our findings, we report mean-averaged results for a multitude of independent runs on sparse data. First, we show that pretraining is helpful for word-level text-based depression detection. Second, our results demonstrate that sentence-level word-embeddings should be mostly preferred over word-level ones. While the choice of pooling function is less crucial, mean and attention pooling should be preferred over last-timestep pooling. Our method outputs depression presence results as well as predicted severity score, culminating a macro F1 score of 0.84 and MAE of 3.48 on the DAIC-WOZ development set.

연구 동기 및 목표

• 사용자 생성 데이터가 부족한 저자원 임상 환경에서 텍스트 기반 우울증 탐지 성능을 향상시키기 위해.
• 큰 관련 없는 코퍼스에서 사전 훈련한 모델이 희소한 임상 텍스트에서의 성능 향상에 기여하는지 조사하기 위해.
• 우울증 탐지에 있어 단어 수준 임베딩과 문장 수준 임베딩의 효과를 비교하기 위해.
• 다양한 임베딩 유형과 함께 다양한 풀링 함수의 성능을 평가하기 위해.
• 동시에 이진 우울증 상태와 PHQ-8 심각도 점수를 예측하는 강력한 다중 작업 학습 프레임워크를 개발하기 위해.

제안 방법

• 이중 우울증 상태와 PHQ-8 심각도 점수를 동시에 예측하기 위해 주의 메커니즘을 갖춘 다중 작업 BGRU 아키텍처를 사용한다.
• 제한된 데이터에서 표현 학습을 향상시키기 위해 사전 훈련된 단어 및 문장 임베딩(Word2Vec, fastText, ELMo, BERT)을 활용한다.
• 안정적이고 신뢰할 수 있는 성능 추정을 확보하기 위해 반복된 5겹 교차 검증을 적용한다.
• 이중 분류 손실과 평균 절대 오차를 조합한 새로운 다중 작업 손실 함수를 사용하여 공동 최적화를 수행한다.
• 시퀀스 표현의 최적 집약 방식을 도출하기 위해 평균, 최대, 시간, 주의 풀링의 네 가지 풀링 전략을 평가한다.
• 작은 데이터셋에서의 클래스 불균형과 과적합을 줄이기 위해 데이터 균형 조정 기법을 구현한다.

실험 결과

연구 질문

• RQ1 큰 관련 없는 코퍼스에서 사전 훈련한 모델이 희소한 임상 텍스트에서의 우울증 탐지 성능 향상에 기여하는가?
• RQ2 임상 우울증 탐지에 있어 문장 수준의 임베딩이 단어 수준의 임베딩보다 더 효과적인가?
• RQ3 다양한 임베딩 유형과 조합했을 때, 평균, 최대, 시간, 주의 풀링 중 어떤 풀링 함수가 가장 높은 성능을 낼 수 있는가?
• RQ4 동시에 우울증 존재 여부와 심각도를 예측하는 다중 작업 학습 프레임워크가 저자원 데이터에서 단일 작업 기반 모델보다 우수한 성능을 낼 수 있는가?
• RQ5 이러한 저데이터 환경에서, 문맥 무관 임베딩(예: Word2Vec)과 문맥 기반 임베딩(예: BERT, ELMo)의 성능 비교는 어떻게 되는가?

주요 결과

• 큰 코퍼스에서 사전 훈련한 모델은 희소 데이터에서 단어 수준의 텍스트 기반 우울증 탐지 성능을 크게 향상시킨다.
• 문장 수준의 임베딩은 항상 단어 수준의 임베딩보다 우수하며, 최고의 매크로 F1 스코어는 0.84에 도달한다.
• 평균 풀링과 주의 풀링이 마지막 타임스텝 풀링보다 우수하며, 최대 풀링은 유사한 성능을 보인다.
• 제안된 다중 작업 모델은 DAIC-WOZ 개발 세트에서 매크로 F1 0.84와 MAE 3.48를 기록하며 이전 방법들을 능가한다.
• ELMo와 BERT 기반 모델은 각각 MAE 3.78과 3.48을 기록하며, BERT가 가장 우수한 전체 회귀 성능을 보였다.
• 데이터가 제한되고 문맥 표현이 부족한 탓에 Doc2Vec는 성능이著しく 열등하다.