[논문 리뷰] Basic and Depression Specific Emotion Identification in Tweets: Multi-label Classification Experiments

Nawshad Farruque, Chenyang Huang외 2명|arXiv (Cornell University)|2021. 05. 26.

Text and Document Classification Technologies참고 문헌 18인용 수 5

한 줄 요약

이 논문은 비용 감수성 RankSVM와 주목기반 양방향 LSTM을 활용하여 트윗에서 기본 정서와 우울증 관련 정서를 동시에 식별하기 위한 다중 레이블 분류 프레임워크를 제안한다. 딥 러닝 모델은 특히 데이터 불균형 상황에서 뛰어난 성능을 보이며, 단어 임베딩과 주목기 메커니즘을 통해 우울증과 관련된 미묘한 정서 상태를 효과적으로 탐지한다.

ABSTRACT

In this paper, we present empirical analysis on basic and depression specific multi-emotion mining in Tweets with the help of state of the art multi-label classifiers. We choose our basic emotions from a hybrid emotion model consisting of the common emotions from four highly regarded psychological models of emotions. Moreover, we augment that emotion model with new emotion categories because of their importance in the analysis of depression. Most of those additional emotions have not been used in previous emotion mining research. Our experimental analyses show that a cost sensitive RankSVM algorithm and a Deep Learning model are both robust, measured by both Macro F-measures and Micro F-measures. This suggests that these algorithms are superior in addressing the widely known data imbalance problem in multi-label learning. Moreover, our application of Deep Learning performs the best, giving it an edge in modeling deep semantic features of our extended emotional categories.

연구 동기 및 목표

• 소셜 미디어 텍스트, 특히 트윗에 대한 강력한 다중 레이블 정서 분류 시스템을 개발하여 정신 건강 모니터링을 지원한다.
• 기존 연구에서 다루지 않은 정서 이론 기반으로, 희망 상실, 외로움, 자존감 저하와 같은 우울증 관련 정서를 포함하여 전통적 정서 모델을 확장한다.
• 실제 정서 탐지 작업에서 흔한 데이터 불균형이 존재하는 데이터셋에서 최신 다중 레이블 학습 알고리즘의 성능을 평가한다.
• 단어 집합(Bag-of-Words, BOW)과 단어 임베딩(Word Embeddings, WE) 특징 간의 상호 비교를 통해 짧은 텍스트 내 정서 언어의 의미적 뉘앙스를 어떻게 잘 포착할 수 있는지 분석한다.
• 희귀 정서 레이블과 흔한 정서 레이블 모두에서 높은 성능을 유지하면서도 데이터 불균형 문제를 효과적으로 다룰 수 있는 모델을 규명한다.

제안 방법

• 본 연구는 두 개의 다중 레이블 데이터셋을 구축한다: 하나는 기초 정서 9종(예: 기쁨, 분노, 슬픔)으로 구성되고, 다른 하나는 정신 건강 임상적 관련성이 높은 우울증 관련 정서 7종(예: 희망 상실, 외로움, 슈드렌프루데)을 추가한 확장된 버전이다.
• 정서 레이블은 네 가지 주요 정서 이론을 융합한 하이브리드 심리학적 모델을 기반으로 하며, 추가로 임상적 관련성이 높은 정서를 포함시켜 확장한다.
• 저자들은 두 가지 주요 모델을 활용한다: 레이블 파wr셋(LP)과 쌍별 선호도 학습(PPT)을 적용한 비용 감수성 RankSVM, 그리고 자기 주목기 메커니즘을 갖춘 양방향 LSTM 기반 딥 러닝 모델.
• 특징 표현 방식으로는 단어 집합(Bag-of-Words, BOW)과 단어 임베딩(Word Embeddings, WE)을 사용하며, 후자는 텍스트 내 의미적 관계를 잘 포착한다.
• 성능 평가에는 마크로-F1 및 마이크로-F1 점수를 사용하며, 데이터 불균형 증가에 따른 모델의 강건성 정도를 수치화하기 위해 성능 저하 지표를 도입한다.
• 혼동 행렬 분석을 통해 정서 간 상관관계와 동시 발생 정서(예: 기쁨/사랑 또는 좌절/희망 상실) 간 오분류 패턴을 평가한다.

실험 결과

연구 질문

• RQ1 최신 다중 레이블 분류 모델은 트윗에서 기본 정서와 우울증 관련 정서를 동시에 식별할 때 어떤 성능을 보이는가?
• RQ2 비용 감수성 RankSVM와 딥 러닝 모델은 다중 레이블 정서 분류에서 데이터 불균형의 영향을 어느 정도 완화하는가?
• RQ3 짧은 텍스트 소셜 미디어 콘텐츠 내 정서의 미묘한 차이를 포착하는 데서, 단어 임베딩과 단어 집합 특징 간의 성능 비교는 어떻게 이루어지는가?
• RQ4 어느 정서 범주가 가장 자주 오분류되는가? 이러한 오분류의 뒤에 숨은 언어적 패턴은 무엇인가?
• RQ5 딥 러닝 모델의 주목기 메커니즘은 우울증 관련 정서와 연관된 주요 언어적 특징을 어떻게 식별하는가?

주요 결과

• 주목기 기반 양방향 LSTM 모델은 16개 정서 데이터셋에서 마크로-F1 점수 0.4685와 마이크로-F1 점수 0.4832를 기록하여 모든 다른 모델보다 뛰어난 성능을 보였다.
• 딥 러닝 모델은 9개 정서 데이터셋에서 16개 정서 데이터셋으로 전환할 때 마크로-F1 점수 15% 감소, 마이크로-F1 점수 11% 감소에 그쳐 데이터 불균형에 대한 강건성을 잘 보였다.
• 레이블 파워셋(LP)을 사용한 RankSVM는 9개 정서 데이터셋에서 마크로-F1 0.4234와 마이크로-F1 0.4236를 기록하여 불균형 상황에서도 뛰어난 성능을 보였다.
• 나이브 베이즈 기반 모델은 더 불균형한 16개 정서 데이터셋으로 전환할 때 마크로-F1 점수 38% 감소, 마이크로-F1 점수 41% 감소를 기록하여 가장 큰 성능 저하를 보였다.
• 혼동 행렬 분석 결과, 기쁨/사랑 또는 좌절/희망 상실처럼 동시에 발생하는 정서 간 오분류가 자주 발생하는 것으로 나타나 강한 동시 발생 패턴이 있음을 확인했다.
• 단어 임베딩는 모든 모델에서 성능 향상을 일관되게 보였으며, 특히 딥 러닝 모델에서 가장 큰 향상 폭를 기록하여 희소한 단어 집합 표현 방식보다 열등하지 않음을 확인했다.