[논문 리뷰] Sentiment Analysis: How to Derive Prior Polarities from SentiWordNet

Marco Guerini, Lorenzo Gatti외 1명|arXiv (Cornell University)|2013. 09. 23.

Sentiment Analysis and Opinion Mining인용 수 44

한 줄 요약

이 논문은 감성 분석를 위한 사전 극성 추정을 햖을 때 SentiWordNet의 다수의 후행-사전 극성 공식을 결합하는 학습 기반 프레임워크를 제안한다. SWN3를 사용한 SVM와 특성 선택을 통해, 이 방법은 회귀 및 분류 작업에서 기존의 개별 공식들을 능가하는 최신 기술 수준의 성능을 달성하였으며, 품사와 평가자 성별과 관련된 심각한 편향을 드러냈다.

ABSTRACT

Assigning a positive or negative score to a word out of context (i.e. a word's prior polarity) is a challenging task for sentiment analysis. In the literature, various approaches based on SentiWordNet have been proposed. In this paper, we compare the most often used techniques together with newly proposed ones and incorporate all of them in a learning framework to see whether blending them can further improve the estimation of prior polarity scores. Using two different versions of SentiWordNet and testing regression and classification models across tasks and datasets, our learning approach consistently outperforms the single metrics, providing a new state-of-the-art approach in computing words' prior polarity for sentiment analysis. We conclude our investigation showing interesting biases in calculated prior polarity scores when word Part of Speech and annotator gender are considered.

연구 동기 및 목표

• SentiWordNet의 후행 극성 점수에서 단어의 의미별로 정확한 사전 극성 점수를 도출하는 데 도전하는 것.
• 30개의 기존 및 신규로 식별된 공식이 후행-사전 극성 변환에 대해 성능을 평가하고 비교하는 것.
• 기계 학습을 통해 이러한 공식들을 결합하면 단일 방법보다 더 나은 사전 극성 추정을 얻을 수 있는지 조사하는 것.
• 사전 극성 예측 정확도에 대한 단어의 품사(PoS)와 평가자 성별의 영향을 검토하는 것.

제안 방법

• 연구는 SentiWordNet의 의미 수준(후행) 극성 점수를 단어 수준(사전) 극성 점수로 변환하는 30개의 다양한 공식을 평가한다.
• 각 공식의 성능을 평가하기 위해 회귀 및 이元 분류 작업을 사용하며, 평가 지표로 평균 절대 오차(MAE)와 정확도를 사용한다.
• 학습 프레임워크는 공식 점수를 특성으로 사용하여 SVM와 순환적 특성 제거(SVMfs), 가우시안 프로세스(GPs), 로지스틱 회귀를 사용해 최적의 혼합 가중치를 학습한다.
• 프레임워크는 SWN1 및 SWN3 버전을 모두 사용하여 ANEW와 General Inquirer 두 개의 골드 표준 데이터셋에서 훈련 및 테스트된다.
• 가장 뛰어난 성능을 보인 모델은 SWN3에서 SVM와 특성 선택을 사용한 것으로, 가장 높은 정확도와 가장 낮은 MAE를 기록했다.
• 선형 및 라디얼 커널 함수를 평가하였으며, SVM는 라디얼 커널을 선호했고, GPs에는 선형 커널이 최적의 성능을 냈다.

실험 결과

연구 질문

• RQ1 다양한 후행-사전 극성 공식이 데이터셋과 작업(회귀 및 분류) 간에 유의미하게 다른 성능을 보이는가?
• RQ2 SentiWordNet 버전 선택(SWN1 대비 SWN3)이 사전 극성 추정 성능에 유의미하게 영향을 미치는가?
• RQ3 다수의 공식을 결합하는 학습 프레임워크가 가장 우수한 단일 공식을 초월하여 사전 극성 추정 성능을 향상시킬 수 있는가?
• RQ4 품사(예: 형용사, 명사, 동사)에 따라 성능이 유의미하게 달라지는가?
• RQ5 평가자 성별(남성 대비 여성)과 감성 극성(긍정 대비 부정)을 고려할 때 사전 극성 추정에 유의미한 차이가 있는가?

주요 결과

• SWN3를 사용한 SVM와 특성 선택(SVMfs) 접근 방식이 가장 뛰어난 성능을 보이며, 사전 극성 추정 분야에서 새로운 최신 기술 수준을 수립했다.
• 가장 뛰어난 공식(best_f)은 남성 ANEW 평가에서 평균 절대 오차(MAE) 0.323, 여성 평가에서 0.392를 기록했으며, 이 차이는 통계적으로 유의미하다(p < 0.001).
• 분류 작업에서 SVMfs 모델은 형용사에 대해 82.9%의 정확도, 명사에 대해 78.4%, 동사에 대해 78.2%의 정확도를 기록했으며, 형용사의 정확도가 유의미하게 높았다(p < 0.01).
• 부정어에 대해 여성 평가자에게서의 MAE는 0.399로 남성 평가자(0.301)보다 유의미하게 높았으며, p값 < 0.001이었다.
• 학습 프레임워크는 개별 공식들을 항상 능가했으며, 특성 선택은 가장 성능이 열악한 공식들 역시 기여도를 확인하여 다양한 시각의 가치를 입증했다.
• 결과는 체계적인 편향을 드러냈다: SentiWordNet에서 유도된 사전 극성은 여성 ANEW 평가보다 남성 ANEW 평가에 더 가까운 경향이 있었으며, 이는 기본 어휘 자원에 성별 편향이 존재함을 시사한다.