[논문 리뷰] Transgender Community Sentiment Analysis from Social Media Data: A Natural Language Processing Approach

Mengzhe Li, Yudan Wang외 2명|arXiv (Cornell University)|2020. 10. 25.

Topic Modeling참고 문헌 13인용 수 4

한 줄 요약

이 연구는 수동으로 레이블링된 300개의 Reddit 댓글 데이터셋을 사용하여 성소수자 개인의 소셜미디어 게시물에 대한 감성 분석을 위한 자연어 처리(NLP) 프레임워크를 개발한다. 다양한 기계학습 및 딥러닝 모델을 평가한 결과, LSTM 모델이 가장 높은 성능을 보였으며, 정확도(0.852), AUC(0.876)를 기록하여 자동 감성 검출을 통한 정신건강 조기 간섭의 강력한 잠재력을 입증한다.

ABSTRACT

Transgender community is experiencing a huge disparity in mental health conditions compared with the general population. Interpreting the social medial data posted by transgender people may help us understand the sentiments of these sexual minority groups better and apply early interventions. In this study, we manually categorize 300 social media comments posted by transgender people to the sentiment of negative, positive, and neutral. 5 machine learning algorithms and 2 deep neural networks are adopted to build sentiment analysis classifiers based on the annotated data. Results show that our annotations are reliable with a high Cohen's Kappa score over 0.8 across all three classes. LSTM model yields an optimal performance of accuracy over 0.85 and AUC of 0.876. Our next step will focus on using advanced natural language processing algorithms on a larger annotated dataset.

연구 동기 및 목표

• 성소수자 커뮤니티의 300개 Reddit 댓글을 긍정, 부정, 중립 감성 카테고리로 수동으로 레이블링하기.
• 소셜미디어 텍스트에서 성소수자 커뮤니티의 감성을 분류하기 위한 다양한 기계학습 및 딥러닝 모델의 성능 평가하기.
• 정신건강 관련 고통을 조기에 탐지할 수 있는 자동 감성 분류기 개발하기.
• 향후 NLP 연구를 위한 신뢰할 수 있고 높은 일致도를 보이는 데이터셋 구축하기.

제안 방법

• /r/asktransgender에서 수집한 300개의 Reddit 댓글 데이터셋을 두 명의 평가자가 수동으로 레이블링하였으며, 의견 차이가 발생한 경우 제3자가 중재하여 모든 클래스에서 코HEN의 카파 값 > 0.8을 달성하였다.
• 기존 기계학습 모델 5종(Naive Bayes, Logistic Regression, Random Forest, SVM, K-Nearest Neighbors)과 딥러닝 모델 2종(CNN 및 LSTM)을 레이블링된 데이터에 대해 학습하였다.
• 딥러닝 모델의 텍스트 입력을 표현하기 위해 대규모 소셜미디어 데이터에서 사전에 훈련된 Word2Vec 임베딩을 사용하였다.
• LSTM 모델은 3개의 스택된 레이어를 사용하였으며, 각각 128, 64, 32개의 뉴런을 가지며, ReLU 활성화 함수, 드롭아웃(0.2), 글로벌 맥스 풀링을 적용하였다. 옵티마이저로 Adam을, 손실 함수로 이진 교차엔트로피를 사용하였다.
• 모델 평가에 있어서는 20%의 테스트 세트를 활용하여 정확도와 매크로 평균 AUC를 측정하였으며, 기존 모델의 경우 5겹 교차검증을, 하이퍼파라미터 튜닝을 위한 개발 세트로 학습 데이터의 10%를 사용하였다.
• 모든 모델은 파이썬 3.6을 사용하여 Keras를 통해 딥러닝 모델을, scikit-learn을 통해 기존 모델을 구현하였으며, 단일 GPU를 활용하여 학습을 가속화하였다.

실험 결과

연구 질문

• RQ1 성소수자 소셜미디어 댓글에 대한 수동 레이블링 데이터셋이 감성 분류에서 높은 평가자 간 일致도를 달성할 수 있는가?
• RQ2 성소수자 커뮤니티의 소셜미디어 콘텐츠 감성 분류에서 어떤 기계학습 및 딥러닝 모델이 가장 우수한 성능을 보이는가?
• RQ3 자동 감성 분류기는 성소수자 개인의 온라인 표현에서 부정 감성을 높은 정확도와 AUC로 탐지할 수 있는가?
• RQ4 ‘dysphoria’ 또는 ‘question’과 같은 핵심 단어들이 이 맥락에서 감성 분류에 어떻게 기여하는가?

주요 결과

• 수동 레이블링 과정에서 모든 세 감성 클래스에서 코헨의 카파 값이 0.8 초과를 기록하여 높은 평가자 간 신뢰도를 입증하였다.
• LSTM 모델이 가장 높은 정확도 0.852와 최고의 AUC 0.876를 기록하여 모든 테스트된 모델보다 뛰어난 성능을 보였다.
• CNN 모델은 두 번째로 높은 정확도(0.861)를 기록하였으며, LSTM보다 약간 높은 정확도를 기록했지만 AUC에서는 떨어졌다.
• 모든 딥러닝 모델(CNN 및 LSTM)이 모든 기존 기계학습 분류기보다 정확도와 AUC 모두에서 뛰어난 성능을 보였다.
• 워드 클라우드 시각화 결과, ‘trans’, ‘transgender’, ‘dysphoria’, ‘question’, ‘wondering’이 감성 분류에 가장 영향을 미치는 핵심 단어로 확인되었다.
• 본 연구는 성소수자 소셜미디어 데이터에 대한 자동 감성 분석이 정신건강 고통의 조기 탐지 및 적절한 간섭을 지원할 수 있음을 입증한다.