[논문 리뷰] Calibration of Transformer-based Models for Identifying Stress and Depression in Social Media

Loukas Ilias, Spiros Mouzakitis외 1명|arXiv (Cornell University)|2023. 05. 26.

Mental Health via Writing인용 수 4

한 줄 요약

이 논문은 BERT 및 MentalBERT에 언어적 특징—LIWC, NRC, LDA 토픽(GOSS), Top2Vec—을 다중모odal 적응 게이트를 통해 통합하고, 예측 보정을 향상시키기 위해 레이블 스무딩을 적용함으로써 소셜 미디어에서 스트레스 및 우울감 탐지 성능을 향상시키는 새로운 방법을 제안한다. 결과적으로 LIWC 및 GOSS 특징 통합에서 뚜렷한 성능 향상이 나타났으며, 레이블 스무딩은 세 데이터셋에서 정확도와 보정 능력을 모두 향상시켰다.

ABSTRACT

In today's fast-paced world, the rates of stress and depression present a surge. Social media provide assistance for the early detection of mental health conditions. Existing methods mainly introduce feature extraction approaches and train shallow machine learning classifiers. Other researches use deep neural networks or transformers. Despite the fact that transformer-based models achieve noticeable improvements, they cannot often capture rich factual knowledge. Although there have been proposed a number of studies aiming to enhance the pretrained transformer-based models with extra information or additional modalities, no prior work has exploited these modifications for detecting stress and depression through social media. In addition, although the reliability of a machine learning model's confidence in its predictions is critical for high-risk applications, there is no prior work taken into consideration the model calibration. To resolve the above issues, we present the first study in the task of depression and stress detection in social media, which injects extra linguistic information in transformer-based models, namely BERT and MentalBERT. Specifically, the proposed approach employs a Multimodal Adaptation Gate for creating the combined embeddings, which are given as input to a BERT (or MentalBERT) model. For taking into account the model calibration, we apply label smoothing. We test our proposed approaches in three publicly available datasets and demonstrate that the integration of linguistic features into transformer-based models presents a surge in the performance. Also, the usage of label smoothing contributes to both the improvement of the model's performance and the calibration of the model. We finally perform a linguistic analysis of the posts and show differences in language between stressful and non-stressful texts, as well as depressive and non-depressive posts.

연구 동기 및 목표

• 레이블 스무딩을 통한 모델 보정을 도입하여 정신건강 탐지 모델에서 신뢰도 없는 예측 확률 추정 문제를 해결하고자 한다.
• BERT, MentalBERT와 같은 트랜스포머 기반 모델에 외부 언어적 특징을 통합하여 소셜 미디어 텍스트에서 스트레스 및 우울감 탐지 성능을 향상시키고자 한다.
• 우울하거나 스트레스가 있는 포스트와 그렇지 않은 포스트 간의 언어적 차이를 특징 분석을 통해 탐구하고자 한다.
• 우울감 및 스트레스 탐지에서 주제 관심도를 캡처하기 위해 글로벌 아웃라이어 표준 스코어(GOSS)의 활용 가능성을 탐색하고자 한다.
• 학습 가능한 주의력 가중치를 갖는 다중모달 적응 게이트를 사용하여 트랜스포머 및 언어적 표현 간의 동적 융합 메커니즘을 개발하고자 한다.

제안 방법

• 소셜 미디어 포스트 각각에 대해 다수의 언어적 특징—LIWC, NRC 감성 어휘, Top2Vec 임베딩, LDA 기반 GOSS 특징—을 추출한다.
• 모든 언어적 특징을 학습된 선형 투영을 통해 BERT/MentalBERT 출력과 동일한 임베딩 공간으로 매핑한다.
• 매핑된 언어적 특징을 BERT/MentalBERT의 [CLS] 토큰 표현과 연결하여 통합 입력을 구성한다.
• 학습 가능한 주의력 가중치를 갖는 다중모달 적응 게이트를 적용하여 각 모odal(트랜스포머 및 언어적 특징)의 기여도를 동적으로 제어한다.
• 분류 성능 및 예측 보정 능력을 향상시키기 위해 레이블 스무딩을 적용하여 통합 모델을 미세조정한다.
• 기대 보정 오차(Expected Calibration Error, ECE) 및 적응형 보정 오차(Adaptive ECE)를 사용하여 모델 보정 능력을 평가한다.

실험 결과

연구 질문

• RQ1 BERT 및 MentalBERT에 언어적 특징을 통합함으로써 소셜 미디어 텍스트에서 스트레스 및 우울감 탐지 성능을 향상시킬 수 있는가?
• RQ2 레이블 스무딩은 트랜스포머 기반 모델의 분류 성능과 예측 보정 능력을 모두 향상시키는가?
• RQ3 LIWC, NRC, GOSS 등 다양한 언어적 특징 유형 중에서 성능 향상에 가장 기여하는 특징은 무엇인가?
• RQ4 우울하거나 스트레스가 있는 포스트의 언어 패턴은 그렇지 않은 포스트와 어떻게 다를까?
• RQ5 간단한 연결(concatenation)에 비해 다중모달 적응 게이트는 특징 융합 능력을 얼마나 향상시키는가?

주요 결과

• 레이블 스무딩을 적용한 LIWC 특징 통합으로 MentalBERT의 F1 스코어가 표준 MentalBERT 대비 3.36% 향상되었고, 레이블 스무딩 없이 LIWC를 통합한 M-MentalBERT 대비 0.63% 향상되었다.
• BERT에 Top2Vec 특징과 레이블 스무딩을 적용한 경우 Depression_Mixed 데이터셋에서 가장 높은 F1 스코어와 정확도를 기록했다.
• Dreaddit 데이터셋에서는 레이블 스무딩을 적용한 LIWC 특징 통합이 모든 구성에서 가장 높은 F1 스코어와 정확도를 기록했다.
• Depression_Severity 데이터셋에서는 NRC 특징을 BERT와 조합한 경우, GOSS 특징을 MentalBERT와 조합한 경우가 각각 가장 높은 가중 F1 스코어를 기록했다.
• 언어적 분석 결과, 우울하거나 스트레스가 있는 포스트는 부정적 정서 및 인지 과정 카테고리와 강한 상관관계를 보였다.
• 레이블 스무딩은 모든 데이터셋에서 기대 보정 오차(Expected Calibration Error)와 적응형 보정 오차(Adaptive ECE)가 감소함으로써 모델 보정 능력 향상이 뚜렷하게 나타났다.