[논문 리뷰] Assessing Sentiment Strength in Words Prior Polarities

Lorenzo Gatti, Marco Guerini|arXiv (Cornell University)|2012. 12. 18.

Sentiment Analysis and Opinion Mining참고 문헌 26인용 수 40

한 줄 요약

이 논문은 SentiWordNet의 의미 수준 극성 값에서 단어의 사전 극성 극성 값을 계산하기 위한 14개의 공식을 평가하여, 가중 평균(특히 w2m 및 w1m)이 회귀 및 분류 과제에서 인간 평가 결과를 가장 잘 근사함을 발견하였다. 본 연구는 다의미 감성 자원에서 강력한 사전 극성 값을 유도하기 위한 가중 평균을 최신 기술 수준의 방법으로 확립한다.

ABSTRACT

Many approaches to sentiment analysis rely on lexica where words are tagged with their prior polarity - i.e. if a word out of context evokes something positive or something negative. In particular, broad-coverage resources like SentiWordNet provide polarities for (almost) every word. Since words can have multiple senses, we address the problem of how to compute the prior polarity of a word starting from the polarity of each sense and returning its polarity strength as an index between -1 and 1. We compare 14 such formulae that appear in the literature, and assess which one best approximates the human judgement of prior polarities, with both regression and classification models.

연구 동기 및 목표

• SentiWordNet의 다의미 감성 점수에서 사전 극성 값을 계산하는 데 가장 효과적인 공식을 특정하는 것.
• 사람이 평가한 감성 강도를 근사하는 능력 측면에서 14개의 기존 공식을 비교하는 것.
• 회귀 과제에서의 성능이 이진 감성 분류 과제로 일반화되는지 평가하는 것.
• SentiWordNet을 사용한 사전 극성 계산을 위한 최신 기술 수준의 기준을 설정하는 것.

제안 방법

• 연구는 인간 평가된 사전 극성 점수를 기준으로 ANEW를 황금 표준으로 사용한다.
• SentiWordNet의 의미 수준 양성 및 음성 점수를 하나의 사전 극성 점수로 통합하는 14개의 공식을 평가한다.
• 회귀 모델은 평균 절대 오차(MAE)를 사용하여 성능을 평가하고, 분류 모델은 F1, 정밀도, 재현율을 사용한다.
• 공식에는 단순 전략(예: 가장 흔한 의미, 무작위 의미), 산술 평균, 최대값, 가중 평균 등이 포함되어 있다.
• 통계적 유의성은 근사 랜덤화 검정과 p-값을 사용하여 테스트한다.
• 분석은 감성 강도(회귀)와 이진 분류(양성/음성) 과제 간의 결과를 비교한다.

실험 결과

연구 질문

• RQ1 회귀 프레임워크에서 어떤 공식이 인간 평가된 사전 극성 점수를 가장 잘 근사하는가?
• RQ2 회귀 과제에서 가장 뛰어난 성능을 보인 공식이 이진 감성 분류 과제에서도 최고 성능을 내는가?
• RQ3 가장 흔한 의미를 사용하거나 무작위 의미를 사용하는 단순 전략은 더 복잡한 통합 방법과 비교해 어떻게 되는가?
• RQ4 가중 평균과 다른 통합 전략 간에 성능에 통계적으로 유의미한 차이가 있는가?
• RQ5 회귀 과제에서의 발견이 감성 분석의 분류 과제로 일반화될 수 있는가?

주요 결과

• 가중 평균 공식 w2m는 회귀 과제에서 평균 절대 오차(MAE) 0.380을 기록하여 swnrndd와 같은 기준 방법보다 유의미하게 뛰어나게(유의수준 p<0.01) 성능을 발휘하였다.
• w1m 공식 역시 뛰어난 성능을 보였으며, MAE는 0.383이고 성공률은 32.5%로 대부분의 대안보다 뛰어났다.
• 가장 흔한 의미(f s) 또는 무작위 의미(swrnd)를 사용한 결과는 유사하게 열악했으며, 무작위 선택보다 유의미한 향상이 없었고, 이는 일반적인 NLP 가정과 정면으로 배치되었다.
• 이진 분류 과제에서는 w2, w1, 평균 공식이 무작위 기준(유의수준 p<0.001)과 무작위 의미 기준(유의수준 p<0.01)을 모두 유의미하게 뛰어넘었다.
• w2 공식의 F1 점수는 0.711로, 양성 및 음성 단어를 정확히 식별하는 데 강력한 성능을 보였다.
• 결과는 가중 평균이 SentiWordNet과 같은 다의미 감성 자원에서 사전 극성 값을 도출하는 데 가장 강력하고 정확한 방법임을 확인한다.