[논문 리뷰] Jointly Modeling Aspect and Polarity for Aspect-based Sentiment Analysis in Persian Reviews

Milad Vazan, Jafar Razmara|arXiv (Cornell University)|2021. 09. 15.

Sentiment Analysis and Opinion Mining인용 수 6

한 줄 요약

이 논문은 페르시아어 텍스트에서 특성 기반 감성 분석을 위한 통합 모델링 접근법을 제안하며, 깊이 학습 모델(CNN, GRU, LSTM, Bi-LSTM)을 사용해 특성과 그 감성 극성(긍정, 부정, 중립)을 동시에 탐지한다. 2,200개 샘플로 구성된 페르시아어 리뷰 데이터셋에서 평가한 결과, CNN과 GRU가 LSTM과 Bi-LSTM보다 뛰어난 성능을 보이며, 예측 기반 및 레이블 기반 평가 지표 모두에서 뛰어난 성능을 입증하였다.

ABSTRACT

Identification of user's opinions from natural language text has become an exciting field of research due to its growing applications in the real world. The research field is known as sentiment analysis and classification, where aspect category detection (ACD) and aspect category polarity (ACP) are two important sub-tasks of aspect-based sentiment analysis. The goal in ACD is to specify which aspect of the entity comes up in opinion while ACP aims to specify the polarity of each aspect category from the ACD task. The previous works mostly propose separate solutions for these two sub-tasks. This paper focuses on the ACD and ACP sub-tasks to solve both problems simultaneously. The proposed method carries out multi-label classification where four different deep models were employed and comparatively evaluated to examine their performance. A dataset of Persian reviews was collected from CinemaTicket website including 2200 samples from 14 categories. The developed models were evaluated using the collected dataset in terms of example-based and label-based metrics. The results indicate the high applicability and preference of the CNN and GRU models in comparison to LSTM and Bi-LSTM.

연구 동기 및 목표

• 페르시아어 텍스트에서 특성 카테고리 탐지(ACD)와 특성 카테고리 극성(ACP)을 별도로 모델링하는 데서 기인하는 한계를 해결하기 위해.
• 페르시아어 리뷰에서 특성과 그 감성 극성을 동시에 예측하는 통합 프레임워크를 개발하기 위해.
• 페르시아어와 같이 자원이 적고 형태학적으로 복잡한 언어에서 통합 ACD 및 ACP를 위해 여러 가지 딥 러닝 아키텍처(CNN, GRU, LSTM, Bi-LSTM)를 평가하기 위해.
• 특성 기반 감성 분석을 위해 14개 특성 카테고리에 걸쳐 2200개 샘플을 포함한 새로운 페르시아어 리뷰 데이터셋을 수집하고 공개하기 위해.
• 다중 레이블 분류 설정에서 예측 기반 및 레이블 기반 평가 지표를 사용해 모델 성능을 비교하기 위해.

제안 방법

• 이 접근법은 각 리뷰 샘플이 다수의 특성-극성 쌍과 연관되는 다중 레이블 분류 문제로 특성 기반 감성 분석을 설정한다.
• 특성과 극성의 동시 예측을 위해 4가지 딥 네트워크 아키텍처—합성곱 신경망(CNN), 게이트드 순환 유닛(GRU), 장기 단기 기억망(LSTM), 양방향 LSTM(Bi-LSTM)—을 사용한다.
• 입력 텍스트를 표현하기 위해 워드 임베딩을 사용하며, 모델은 엔드 투 엔드로 학습되어 특성 카테고리와 그에 해당하는 감성 극성(긍정, 부정, 중립)을 예측한다.
• 모델은 14개 특성 카테고리를 포함하는 CinemaTicket에서 수집한 새로운 페르시아어 리뷰 데이터셋을 기반으로 학습 및 평가된다.
• 예측의 개별 수준과 레이블 수준의 정확도를 평가하기 위해 예측 기반 및 레이블 기반 지표(예: F1 점수, 하밍 정확도)를 사용하여 성능을 측정한다.
• 성능 최적화를 위해 하이퍼파라미터를 튜닝하며, 다양한 평가 프로토콜에 따라 모델 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 통합 모델링 방식이 별도의 모델링 방식보다 페르시아어 특성 기반 감성 분석에서 성능을 향상시킬 수 있는가?
• RQ2 CNN, GRU, LSTM, Bi-LSTM 중 어떤 딥 러닝 아키텍처가 페르시아어 텍스트에서 특성과 극성을 동시에 탐지하는 데 가장 뛰어난 성능을 보이는가?
• RQ3 예측 기반 및 레이블 기반 평가 지표는 통합 특성 및 극성 예측 모델의 성능 평가에서 어떻게 비교되는가?
• RQ4 페르시아어의 형태학적 복잡성은 표준 NLP 모델의 특성 기반 감성 분석 성능에 어느 정도 영향을 미치는가?
• RQ5 맞춤형 도메인 전용 페르시아어 리뷰 데이터셋의 사용은 자원이 적은 환경에서 모델의 일반화 능력과 성능을 향상시키는가?

주요 결과

• CNN과 GRU 모델이 평가된 모든 아키텍처 중에서 페르시아어 리뷰 데이터셋에서 가장 높은 성능을 기록하였다.
• CNN과 GRU는 예측 기반 및 레이블 기반 F1 점수 모두에서 LSTM과 Bi-LSTM를 앞서며, 더 나은 일반화 능력과 레이블 예측 정확도를 보였다.
• 통합 모델링 접근법은 특성-극성 간의 종속성을 효과적으로 포착하여 파이프라인 방법에서 관찰되던 오류 전파 문제를 줄였다.
• CNN과 GRU는 레이블 기반 F1 점수가 일관되게 높아, 다중 레이블 예측 작업에서 뛰어난 성능을 보였다.
• 14개 특성 카테고리에 걸쳐 2,200개의 페르시아어 리뷰로 구성된 이 데이터셋은 향후 자원이 적고 형태학적으로 풍부한 언어의 감성 분석 연구에 매우 유용한 자원이다.
• 결과적으로 아키텍처 선택이 통합 특성 및 극성 탐지 성능에 상당한 영향을 미치며, 순환형 및 합성곱형 모델이 페르시아어 NLP에서 각각 다른 강점을 보임을 입증하였다.