[논문 리뷰] Text Sentiment Analysis and Classification Based on Bidirectional Gated Recurrent Units (GRUs) Model

Wei Xu, Jianlong Chen외 2명|arXiv (Cornell University)|2024. 04. 26.

Text and Document Classification Technologies인용 수 4

한 줄 요약

이 논문은 텍스트 감성 분석을 위한 이방향 게이팅 순환 단위(Bi-GRU) 모델을 제안하며, 포괄적인 전처리 및 시퀀스 모델링을 통해 6라벨 감성 데이터셋에서 94.8%의 테스트 정확도, 95.9%의 정밀도, 99.1%의 재현도, 97.4%의 F1 점수를 달성하여 일반화 및 분류 성능가 장점이 뚜렷하다.

ABSTRACT

This paper explores the importance of text sentiment analysis and classification in the field of natural language processing, and proposes a new approach to sentiment analysis and classification based on the bidirectional gated recurrent units (GRUs) model. The study firstly analyses the word cloud model of the text with six sentiment labels, and then carries out data preprocessing, including the steps of removing special symbols, punctuation marks, numbers, stop words and non-alphabetic parts. Subsequently, the data set is divided into training set and test set, and through model training and testing, it is found that the accuracy of the validation set is increased from 85% to 93% with training, which is an increase of 8%; at the same time, the loss value of the validation set decreases from 0.7 to 0.1 and tends to be stable, and the model is gradually close to the actual value, which can effectively classify the text emotions. The confusion matrix shows that the accuracy of the model on the test set reaches 94.8%, the precision is 95.9%, the recall is 99.1%, and the F1 score is 97.4%, which proves that the model has good generalisation ability and classification effect. Overall, the study demonstrated an effective method for text sentiment analysis and classification with satisfactory results.

연구 동기 및 목표

• 자연어 처리 분야에서 딥러닝 아키텍처를 활용해 텍스트 감성 분류 정확도를 향상시키기 위해.
• 순환 신경망을 활용해 텍스트 내 순차적이고 맥락적인 감성 의존성을 포착하는 과제를 해결하기 위해.
• 이방향 GRU가 장거리 의존성과 감성 극성 모델링에 얼마나 효과적인지 평가하기 위해.
• 엄격한 검증 및 테스트 세트 평가를 통해 모델의 일반화 능력을 입증하기 위해.
• 실제 자연어 처리 응용 분야에서 다중라벨 감성 분류를 위한 실용적이고 고성능 솔루션을 제공하기 위해.

제안 방법

• 제안된 모델은 텍스트 시퀀스의 정방향과 역방향 양 방향의 맥락적 의존성을 포착하기 위해 이방향 게이팅 순환 단위(Bi-GRUs)를 사용한다.
• 텍스트 전처리에는 특수 문자,标 punctuations, 숫자, 정지어, 알파벳 외 토큰의 제거를 포함하여 입력 데이터를 정제한다.
• 데이터셋은 모델 평가 및 데이터 누출 방지를 위해 훈련 세트와 테스트 세트로 분할된다.
• 모델 훈련은 조기 정지와 검증 모니터링을 통해 수행되며, 에포크 수에 따라 손실과 정확도가 수렴하는 경향을 보였다.
• 모델 평가는 표준 NLP 메트릭인 정확도, 정밀도, 재현도, F1 점수를 테스트 세트에서 사용하여 수행된다.
• 혼동 행렬을 활용해 각 클래스별 성능를 분석하고 모델의 강건성을 검증한다.

실험 결과

연구 질문

• RQ1 이방향 GRU 모델은 다중라벨 분류를 위해 텍스트 내 순차적 감성 패턴을 효과적으로 포착할 수 있는가?
• RQ2 제안된 전처리 파이프라인은 감성 분석 작업에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 기준 모델 대비 Bi-GRU 모델이 정확도 및 일반화 능력 향상에 얼마나 기여하는가?
• RQ4 정밀도, 재현도, F1 점수로 나타난 각 감성 클래스별 모델의 성능는 어떠한가?
• RQ5 에포크 수에 따라 검증 손실과 정확도 측면에서 훈련 과정은 얼마나 안정적이고 수렴하는가?

주요 결과

• 모델의 검증 정확도가 훈련 에포크 수에 따라 85%에서 93%로 증가하여 강력한 학습 능력을 보였다.
• 검증 손실은 0.7에서 0.1로 감소하며 안정화되어 효과적인 수렴과 과적합 감소를 시사했다.
• 테스트 세트에서 모델은 94.8%의 정확도, 95.9%의 정밀도, 99.1%의 재현도, 97.4%의 F1 점수를 기록하여 높은 성능를 입증했다.
• 높은 재현도(99.1%)는 긍정 감성 인스턴스를 효과적으로 탐지하고 거짓 음성 감소를 의미한다.
• 97.4%의 F1 점수는 정밀도와 재현도 사이의 균형 잡힌 트레이드오프를 확인하며, 강력한 분류 성능를 시사한다.
• 혼동 행렬은 모든 6개의 감성 클래스에서 일관된 성능를 보여주어 모델의 일반화 능력을 뒷받침한다.