[논문 리뷰] Measuring Praise and Criticism: Inference of Semantic Orientation from Association

Peter D. Turney, Michael L. Littman|ArXiv.org|2003. 09. 19.

Sentiment Analysis and Opinion Mining참고 문헌 19인용 수 202

한 줄 요약

이 논문은 정의된 긍정 및 부정 범주어와의 통계적 연관성을 바탕으로 단어의 의미적 기울기(긍정 또는 부정 감성)를 자동으로 측정하는 방법을 제안한다. 점별 상호정보량(PMI)과 잠재의미분석(LSA)을 사용하여 3,596개의 단어로 구성된 데이터셋에서 82.8%의 정확도를 달성하며, 경미한 감성 단어를 제외할 경우 95% 이상으로 상승한다. 이는 단어 연관성에서 찬사와 비판을 효과적으로 추론할 수 있음을 보여준다.

ABSTRACT

The evaluative character of a word is called its semantic orientation. Positive semantic orientation indicates praise (e.g., "honest", "intrepid") and negative semantic orientation indicates criticism (e.g., "disturbing", "superfluous"). Semantic orientation varies in both direction (positive or negative) and degree (mild to strong). An automated system for measuring semantic orientation would have application in text classification, text filtering, tracking opinions in online discussions, analysis of survey responses, and automated chat systems (chatbots). This paper introduces a method for inferring the semantic orientation of a word from its statistical association with a set of positive and negative paradigm words. Two instances of this approach are evaluated, based on two different statistical measures of word association: pointwise mutual information (PMI) and latent semantic analysis (LSA). The method is experimentally tested with 3,596 words (including adjectives, adverbs, nouns, and verbs) that have been manually labeled positive (1,614 words) and negative (1,982 words). The method attains an accuracy of 82.8% on the full test set, but the accuracy rises above 95% when the algorithm is allowed to abstain from classifying mild words.

연구 동기 및 목표

• 단어의 의미적 기울기(찬사 또는 비판)를 자동으로 측정하는 방법을 개발하는 것.
• 사전에 정의된 긍정 및 부정 단어 집합과의 통계적 연관성을 바탕으로 의미적 기울기를 추론하는 것.
• 3,596개의 단어로 구성된 대규모 수작업 레이블링 데이터셋에서의 성능을 평가하는 것.
• 경미한 감성을 가진 단어를 제외했을 때 분류 정확도에 미치는 영향을 평가하는 것.

제안 방법

• 목표 단어가 긍정 및 부정 범주어 집합과 얼마나 강한 연관성을 가지는지 측정하여 의미적 기울기를 산출한다.
• 두 가지 통계적 측정 방법을 사용한다: 점별 상호정보량(PMI)과 잠재의미분석(LSA)을 통해 단어 간 연관성을 정량화한다.
• 긍정 및 부정 의미적 기울기 점수는 각각 긍정 및 부정 범주어 집합과의 평균 연관성으로부터 유도된다.
• 최종 의미적 기울기는 긍정 연관성 점수와 부정 연관성 점수의 차이로 결정된다.
• 단어의 긍정 점수가 부정 점수를 초월할 경우 해당 단어는 긍정으로 분류되며, 그 반대의 경우 부정으로 분류된다.
• 경미한 감성을 가진 단어는 분류에서 생략할 수 있도록 허용하여 전체 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 소규모 긍정 및 부정 범주어 집합과의 단어 연관성에서 의미적 기울기를 신뢰성 있게 추론할 수 있는가?
• RQ2 PMI와 LSA는 다양한 품사에 걸쳐 의미적 기울기를 얼마나 효과적으로 포착하는가?
• RQ3 경미한 감성을 가진 단어를 제외하면 분류 정확도가 향상되는가?
• RQ4 대규모 수작업 레이블링 데이터셋(3,596개 단어)에서 이 방법의 성능은 어떠한가?
• RQ5 이 방법은 텍스트 내 찬사와 비판을 측정하는 데 있어 다른 접근법과 비교해 어떻게 성능을 내는가?

주요 결과

• 이 방법은 광범위한 품사(형용사, 부사, 명사, 동사 포함)를 포함한 전체 테스트 세트 3,596개 단어에서 82.8%의 정확도를 달성했다.
• 경미한 감성 단어의 분류를 생략할 수 있도록 허용한 알고리즘은 정확도를 95% 이상으로 끌어올렸다.
• 점별 상호정보량(PMI)과 잠재의미분석(LSA)을 모두 사용한 결과 뛰어난 성능을 보였으며, 두 통계적 접근법의 유효성을 입증했다.
• 결과적으로 수작업 레이블링이 광범위하게 필요하지 않은 단어 연관성에서 의미적 기울기를 효과적으로 추론할 수 있음을 보여주었다.
• 이 방법은 텍스트 분류, 의견 추적, 챗봇 시스템 등 다양한 응용 분야에서 높은 잠재력을 보였다.