[논문 리뷰] An LSTM model for Twitter Sentiment Analysis

Md Parvez Mollah|arXiv (Cornell University)|2022. 12. 04.

Sentiment Analysis and Opinion Mining인용 수 5

한 줄 요약

이 논문은 일곱 개의 공개된 수동 주석이 달린 트위터 감성 분석 데이터셋에서 새로 구축한 통합 데이터셋을 사용하여 최적화된 LSTM 모델을 제안한다. 모델은 총 정확도 68%를 기록하며, 규칙 기반 VADER 도구(51%)보다 유의하게 뛰어나지만, 특히 긍정 및 부정 감성의 식별에서 뛰어난 성능을 보이며 중립 트윗에 대한 성능은 여전히 낮다.

ABSTRACT

Sentiment analysis on social media such as Twitter provides organizations and individuals an effective way to monitor public emotions towards them and their competitors. As a result, sentiment analysis has become an important and challenging task. In this work, we have collected seven publicly available and manually annotated twitter sentiment datasets. We create a new training and testing dataset from the collected datasets. We develop an LSTM model to classify sentiment of a tweet and evaluate the model with the new dataset.

연구 동기 및 목표

• 기존 모델에서의 데이터셋 특화 편향과 과적합 문제로 인한 트위터 감성 분석 성능의 일관성 없는 성능을 해결하기 위해.
• 일곱 개의 공개된 수동 주석이 달린 트위터 감성 분석 데이터셋을 통합하여 균형 잡힌 훈련 및 테스트 데이터셋을 구축하기 위해.
• 새로운 데이터셋을 기반으로 LSTM 기반 딥러닝 모델을 개발하고 평가하여 감성 분류의 일반화 성능을 향상시키기 위해.
• 제안된 LSTM 모델의 정확도 및 런타임을 기준으로 널리 사용되는 VADER 사전 기반 도구와의 성능 비교를 위해.

제안 방법

• 저자들은 일곱 개의 수동 주석이 달린 트위터 감성 분석 데이터셋을 수집하여, 관련성 없거나 혼합 레이블이 붙은 트윗을 필터링한 후 하나의 균형 잡힌 데이터셋으로 통합했다.
• 텍스트 전처리 과정에서는 해시태그, 사용자명, URL, 이모티콘,标점 등을 표준화된 대체 패턴을 사용하여 정규화하여 기능 희소성을 줄였다.
• 토큰화된 단어를 고정 크기의 조밀 벡터로 변환하기 위해 사전 학습된 GloVe 벡터를 사용하여 단어 임베딩을 학습했다.
• 이중 분류를 위해 단일 은닉층(100개의 뉴런), ReLU 활성화 함수, 시그모이드 출력층을 갖춘 LSTM 아키텍처를 구현하여 긍정, 부정, 중립 감성 분류를 수행했다.
• 모델은 카테고리형 교차 엔트로피 손실, Adam 옵timizer, 50 에포크, 배치 크기 256을 사용하여 훈련되었으며, 정확도를 평가 지표로 사용했다.
• 성능 평가는 20% 테스트 세트에서 수행되었으며, 전체 및 클래스별 정확도 측면에서 VADER 감성 분석 도구와의 결과를 비교했다.

실험 결과

연구 질문

• RQ1 여러 수동 주석이 달린 트위터 감성 분석 데이터셋에서 유도한 통합된 데이터셋이 감성 분류의 일반화 성능 향상에 기여할 수 있는가?
• RQ2 LSTM 기반 딥러닝 모델은 VADER와 같은 규칙 기반 사전 기반 접근 방식과 비교해 트위터 감성 분류에서 어떻게 성능을 내는가?
• RQ3 LSTM 모델과 VADER 간의 정확도 차이가 긍정, 부정, 중립 감성 클래스 간에 어떻게 나타나는가?
• RQ4 사전 학습된 GloVe 임베딩을 사용할 경우, 이모티콘 및 구두점 기반 감성 신호를 모델이 포착하는 데 제한을 받는 정도는 어느 정도인가?

주요 결과

• 제안된 LSTM 모델은 테스트 세트에서 총 정확도 68%를 기록하며, VADER의 51% 정확도를 뛰어넘었다.
• 모델은 긍정 트윗(77%)에 대해 더 높은 정확도를 보였으며, 부정(68%) 및 중립(61%) 트윗보다 높았다.
• VADER는 부정 트윗에서 뿐만 아니라 중립 트윗에서도 각각 44% 및 43%의 정확도를 기록하여, 비긍정 감성 클래스에서의 성능이 열악함을 보였다.
• LSTM 모델은 사전 학습된 모델을 사용할 경우 훈련에 10분, 추론에 10초가 소요되었으며, VADER는 단 3초 내에 실행되어 정확도와 속도 사이의 상충 관계가 있음을 시사했다.
• 저자들은 GloVe 임베딩에 이모티콘 전용 벡터 표현이 없어 모델 성능이 제한되었을 가능성이 있으며, 특히 이모티콘 기반 감성 신호에 민감한 경우 성능 저하가 발생했을 것으로 관찰했다.
• 연구에서는 주의 메커니즘(attention mechanism)을 통합할 경우 이모티콘 및 구두점과 같은 핵심 감성 지표에 더 집중할 수 있어 모델 정확도 향상이 가능할 수 있음을 제안한다.