[논문 리뷰] Various Approaches to Aspect-based Sentiment Analysis

Amlaan Bhoi, Sandeep Joshi|arXiv (Cornell University)|2018. 05. 05.

Sentiment Analysis and Opinion Mining참고 문헌 11인용 수 23

한 줄 요약

이 논문은 TF-IDF, ID-인코딩, 비트 마스킹, 위치 인코딩 특징을 사용하여 고전적 기계학습 모델(예: SVM, XGBoost)과 딥러닝 아키텍처(예: Attention-LSTM, MemNet)를 비교하여 다각도로 액센트 기반 감성 분석을 평가한다. MemNet 모델은 다단계 주의 메커니즘 덕분에 액센트-컨텍스트 관계를 더 잘 추상화할 수 있어 가장 높은 정확도를 기록했으며, 기술 리뷰에서 0.713, 식품 리뷰에서 0.7866의 정확도를 달성했다.

ABSTRACT

The problem of aspect-based sentiment analysis deals with classifying sentiments (negative, neutral, positive) for a given aspect in a sentence. A traditional sentiment classification task involves treating the entire sentence as a text document and classifying sentiments based on all the words. Let us assume, we have a sentence such as "the acceleration of this car is fast, but the reliability is horrible". This can be a difficult sentence because it has two aspects with conflicting sentiments about the same entity. Considering machine learning techniques (or deep learning), how do we encode the information that we are interested in one aspect and its sentiment but not the other? Let us explore various pre-processing steps, features, and methods used to facilitate in solving this task.

연구 동기 및 목표

• 액센트 기반 감성 분석을 위한 효과적인 특징 공학 기법(예: ID-인코딩, 비트 마스킹, 위치 인코딩)을 조사하기 위해.
• 수작업 특징을 사용한 고전적 기계학습 모델(예: SVM, 랜덤 포레스트, XGBoost)의 성능을 평가하기 위해.
• 특히 Attention-LSTM와 MemNet을 비교하여 액센트-컨텍스트 의존성의 특성을 파악하기 위해.
• 액센트 기반 감성 분류의 최적의 전처리, 특징 공학, 모델 아키텍처 조합을 규명하기 위해.
• 특히 중립 클래스의 F1-스코어가 낮은 문제를 중심으로, 불균형 데이터셋에서의 모델 성능을 분석하기 위해.

제안 방법

• 각 액센트 터미널에 고유한 ID를 할당하고, 모델 입력을 위한 액센트-시퀀스를 생성하기 위해 ID-인코딩을 적용하였다.
• ID 대신 이진 지표를 사용하여 액센트 터미널의 위치를 표현하기 위해 비트 마스킹을 사용하였다.
• 각 컨텍스트 단어가 액센트 터미널에 비해 상대적으로 어느 위치에 있는지를 인코딩하기 위해 위치 인코딩을 구현하였다.
• 고전적 기계학습 모델에 대해 TF-IDF 벡터화를 수행하였으며, scikit-learn의 구현을 사용하였다.
• GLoVe 임베딩을 사용한 단일 레이어 Attention-LSTM을 기반으로 한 딥러닝 모델을 구축했지만, 복잡한 의존성을 포괄하기에는 부족함을 확인하였다.
• 다중 주의 힙을 가진 MemNet(딥 메모리 네트워크)을 설계하였으며, 컨텍스트 주의와 위치 주의를 조합하여 텐서플로우로 훈련하고, 액센트-컨텍스트 상호작용의 계층적 추상화를 최적화하였다.

실험 결과

연구 질문

• RQ1 ID-인코딩, 비트 마스킹, 위치 인코딩 중 어느 특징 공학 기법이 액센트 기반 감성 분류에 가장 효과적인 표현을 제공하는가?
• RQ2 SVM, XGBoost 등 고전적 기계학습 모델은 딥러닝 모델 대비 액센트 기반 감성 분석 작업에서 성능 면에서 어떻게 비교되는가?
• RQ3 드롭아웃과 배치 정규화 등의 아키텍처 개선이 적용되었음에도 불구하고, 단일 레이어 Attention-LSTM이 이 작업에서 일반화 성능이 떨어지는 이유는 무엇인가?
• RQ4 MemNet의 다단계 주의 메커니즘이 단일 레이어 주의 모델 대비 액센트-컨텍스트 관계를 파악하는 데 얼마나 향상된 성능을 보이는가?
• RQ5 클래스 불균형과 액센트 어휘의 복잡성은 특히 중립 감성 클래스에 대해 모델 성능에 어떤 영향을 미치는가?

주요 결과

• MemNet 모델은 기술 리뷰 데이터셋에서 0.713, 식품 리뷰 데이터셋에서 0.7866의 가장 높은 총합 정확도를 기록하여 모든 다른 모델을 앞섰다.
• 원-핫 인코딩을 사용한 SVM은 고전적 모델 중에서 두 번째로 높은 성능을 보였으며, 기술 리뷰 데이터셋에서 0.6112, 식품 리뷰 데이터셋에서 0.6629의 정확도를 기록했다.
• ETC(에кс스트라 트리 분류기) 모델은 놀랍게도 기술 리뷰 데이터셋에서 0.7021의 정확도로 다른 고전적 모델보다 뛰어났지만, 식품 리뷰 데이터셋에서는 실패했으며, 긍정 클래스의 F1-스코어는 뿐만 아니라 0.3745에 불과했다.
• Attention-LSTM 모델은 드롭아웃, 배치 정규화, 양방향 LSTM을 적용했음에도 불구하고 단일 주의 레이어의 추상화 능력이 부족하여 성능이 열등했다.
• 모든 모델에서 중립 클래스는 일관되게 가장 낮은 F1-스코어를 보였으며, 이는 클래스 불균형으로 인한 지속적인 과제임을 시사했다.
• 본 연구는 MemNet의 다단계 주의 메커니즘이 액센트와 그 컨텍스트 단어 간의 복잡한 계층적 의존성을 모델링하는 데 필수적임을 확인했다.