[논문 리뷰] Sentiment Analysis at SEPLN (TASS)-2019: Sentiment Analysis at Tweet level using Deep Learning

Avishek Garain, Sainik Kumar Mahata|arXiv (Cornell University)|2019. 08. 01.

Hate Speech and Cyberbullying Detection참고 문헌 5인용 수 8

한 줄 요약

이 논문은 스페인어 다국어 트윗 감성 분석을 위한 양방향 LSTM 기반 딥러닝 모델을 제안하며, 다양한 라틴아메리카 방언에서의 감성 분석을 위해 고도로 발전된 전처리, 수동으로 생성한 감성 특징, 정규화 기법을 통합하여 최신 기술 수준의 성능을 달성한다. 이 시스템은 TASS-2019 공동 과제에서 1위를 기록하였으며, 부족한 클래스 균형에도 불구하고 짧고 비공식적이며 다국어 트윗에 대해 높은 정확도와 F1 스코어를 기록하여 뛰어난 내재성과 안정성을 입증하였다.

ABSTRACT

This paper describes the system submitted to "Sentiment Analysis at SEPLN (TASS)-2019" shared task. The task includes sentiment analysis of Spanish tweets, where the tweets are in different dialects spoken in Spain, Peru, Costa Rica, Uruguay and Mexico. The tweets are short (up to 240 characters) and the language is informal, i.e., it contains misspellings, emojis, onomatopeias etc. Sentiment analysis includes classification of the tweets into 4 classes, viz., Positive, Negative, Neutral and None. For preparing the proposed system, we use Deep Learning networks like LSTMs.

연구 동기 및 목표

• 스페인, 멕시코, 페루, 코스타리카, 우루과이에서 유래한 혼합된 방언을 포함한 짧고 비공식적인 스페인어 트윗에 대해 강력한 감성 분석 시스템을 개발하는 것.
• 트윗 수준의 감성 분류에서 발생하는 철자 실수, 이모티콘, 시각적 표현, 맥락 부족 등의 과제를 해결하는 것.
• 클래스 가중치 및 정규화 기법을 통해 불균형 데이터셋에서의 모델 일반화 능력을 향상시키는 것.
• 단일 언어 및 다국어 감성 분류 하위 과제에서 모두 높은 성능을 달성하는 것.

제안 방법

• 정규 표현식을 사용하여 캐멀 케이스 해시태그에서 단어를 추출하고, 멘션, URL, 여유 있는 공백을 제거하여 트윗을 전처리하는 방법.
• 처리된 트윗을 원핫 벡터로 변환하고, 수동으로 설계한 특징(스페인어 및 영어 감성 단어 수, 주관성 점수, 구두점 수)과 결합하는 방법.
• SenticNet5와 GoogleTrans API를 활용하여 개별 단어의 감성 점수를 추출하여 특징 표현을 향상시키는 방법.
• 128차원 임bedding 레이어, 배치 정규화, 128개 유닛을 가진 양방향 LSTM(드롭아웃 0.4)을 포함한 딥 네ural 네트워크를 사용하는 방법.
• GPU 최적화된 훈련을 위해 CuDNNLSTM 레이어(64개 유닛)를 적용하고, Glorot 균일 초기화 및 가중치와 편향에 대한 L2 정규화를 적용한 정규화된 밀집 레이어를 사용하는 방법.
• Adam 옵timizer(초기 학습률 0.0005)와 다중 분류 교차 엔트로피 손실을 사용하여 모델를 컴파일하고, 검증 손실 기반 조기 정지 기법을 적용하는 방법.

실험 결과

연구 질문

• RQ1 감성 분석에 대해 주목적과 정규화를 통합한 BiLSTM 아키텍처는 짧고 비공식적이며 다국어 스페인어 트윗에서 얼마나 효과적인가?
• RQ2 저자원, 방언이 많은 트윗 감성 분석에서 해시태그 단어 추출 기법은 성능 향상에 얼마나 기여하는가?
• RQ3 클래스 가중치와 L2 정규화는 불균형 트윗 감성 데이터셋에서 과적합을 효과적으로 완화할 수 있는가?
• RQ4 모델은 단일 언어 및 다국어 설정에서 다양한 스페인어 방언으로 어떻게 일반화되는가?

주요 결과

• 이 시스템은 TASS-2019 공동 과제에서 두 하위 과제 모두에서 참가자 중 1위를 기록하여 최고의 성능을 달성하였다.
• 해시태그 전처리를 적용한 경우 개발 세트 정확도는 51.98%였고, 이를 적용하지 않은 경우는 48.86%였으며, 이는 해당 단계의 가치를 입증한다.
• 메히코 트윗(MX)에 대해 가장 높은 F1 스코어 0.384를 기록하여 데이터 불균형에도 불구하고 뛰어난 성능을 보였다.
• 크로아티아(CR), 스페인(ES), 페루(PE), 우루과이(UY) 트윗에 대해 각각 F1 스코어 0.250, 0.261, 0.263, 0.218를 기록하여 다양한 방언에서 일관되지만 변동성이 있는 성능을 보였다.
• 클래스 가중치와 L2 정규화의 적용은 다수 클래스에서의 과적합을 크게 감소시켜 일반화 능력을 향상시켰다.
• 수동으로 추출한 감성 특징과 주관성 점수의 통합은 감성 클래스 간의 분류 능력을 향상시키는 데 기여하였다.