[논문 리뷰] A New Statistical Approach for Comparing Algorithms for Lexicon Based Sentiment Analysis

Mateus Tarcinalli Machado, Evandro Eduardo Seron Ruiz외 1명|arXiv (Cornell University)|2019. 06. 20.

Sentiment Analysis and Opinion Mining참고 문헌 16인용 수 4

한 줄 요약

이 논문은 인간 레이블 기반 기준이 없는 상태에서 어휘 기반 감성 분석 알고리즘을 비교하기 위한 통계적 프레임워크를 제안한다. 근사 동질성 검정과 최대우도 추정을 사용한 로그선형 모델을 통해, 알고리즘 간 일치도는 레이블 쌍과 어휘에 따라 유의미하게 다름을 입증한다. 중립 대 양성/음성 간 일치도는 양성 대 음성 간 일치도보다 유의미하게 낮으며, LIWC는 모든 레이블 쌍에서 OpLex나 SentiLex보다 유의미하게 낮은 일치도를 보인다.

ABSTRACT

Lexicon based sentiment analysis usually relies on the identification of various words to which a numerical value corresponding to sentiment can be assigned. In principle, classifiers can be obtained from these algorithms by comparison with human annotation, which is considered the gold standard. In practise this is difficult in languages such as Portuguese where there is a paucity of human annotated texts. Thus in order to compare algorithms, a next best step is to directly compare different algorithms with each other without referring to human annotation. In this paper we develop methods for a statistical comparison of algorithms which does not rely on human annotation or on known class labels. We will motivate the use of marginal homogeneity tests, as well as log linear models within the framework of maximum likelihood estimation We will also show how some uncertainties present in lexicon based sentiment analysis may be similar to those which occur in human annotated tweets. We will also show how the variability in the output of different algorithms is lexicon dependent, and quantify this variability in the output within the framework of log linear models.

연구 동기 및 목표

• 자원이 부족한 언어(포르투갈어 등)에서 인간 레이블 기반 기준이 희소한 상황에서도 인간 레이블 기반 기준에 의존하지 않고 어휘 기반 감성 분석 알고리즘을 비교하기 위한 통계적 방법을 개발하는 것.
• 특히 알려진 클래스 레이블이 없는 상황에서 다양한 어휘와 레이블 쌍 간 알고리즘 출력의 변동성을 수량화하는 것.
• 관측된 알고리즘 일치도의 차이가 우연의 결과인지 아니면 통계적으로 유의미한지 확인하기 위해 엄밀한 통계적 추론을 사용하는 것.
• 기존 인간 평가자 간 비교를 기계 알고리즘으로 확장하여, 중립 감성을 포함한 레이블 쌍에서 유사한 불일치 패턴을 보여주는 것.
• 감성 분석을 넘어서 이산적이고 상호 배타적인 레이블 작업에 적용 가능한 알고리즘 성능 평가를 위한 방법론적 기반을 제공하는 것.

제안 방법

• 저자는 동일한 텍스트 코퍼스에서 두 알고리즘의 출력을 비교하기 위해 연립표를 사용하며, 각 셀은 특정 레이블 쌍(예: 알고리즘 1이 'n'을 할당하고, 알고리즘 2가 'p'를 할당함)을 가진 텍스트 수를 나타낸다.
• 알고리즘이 서로 다른 분포를 보이는지 여부를 평가하기 위해 근사 동질성 검정을 적용하여, 우연을 초월한 전체 일치도를 검증한다.
• 로지스틱 선형 모델과 최대우도 추정을 사용하여 알고리즘 출력의 공동 분포를 모델링하고, 레이블 쌍 간 오즈비를 추정한다.
• 레이블 쌍 간 일치도의 로그오즈비에 대한 95% 신뢰구간(예: n 대 u, p 대 u, n 대 p)을 계산하여 일치도의 차이가 통계적으로 유의미한지 평가한다.
• 결과는 [16]의 인간 평가자 데이터와 비교하여 검증되었으며, 레이블 쌍 간 불일치 패턴이 일관되게 나타남을 보였다.
• 이 방법은 LIWC, OpLex, SentiLex 세 가지 어휘에 대해 적용되어, 알고리즘 일치도가 어휘 선택에 따라 어떻게 달라지는지 평가하였다.

실험 결과

연구 질문

• RQ1 두 어휘 기반 감성 분석 알고리즘 간 일치도가 우연에 의해 기대되는 것과 유의미하게 다를까?
• RQ2 알고리즘 간 일치도 수준은 다양한 감성 레이블 쌍(예: n 대 p, n 대 u, p 대 u)에 따라 어떻게 달라지는가?
• RQ3 알고리즘 간 일치도 수준은 사용된 어휘의 선택에 따라 달라지는가?
• RQ4 관측된 알고리즘 간 일치도의 차이가 통계적으로 유의미한가, 아니면 표본 변동성 때문인가?
• RQ5 알고리즘 출력의 불일치 패턴은 인간 평가자 간 불일치 패턴과 어느 정도 유사한가?

주요 결과

• 알고리즘 간 일치도는 n 대 p 쌍에 대해 n 대 u 또는 p 대 u 쌍보다 유의미하게 높으며, 이는 중립 감성의 모호성과 구분의 어려움을 시사한다.
• (n,u) 및 (p,u) 레이블 쌍에 대해 LIWC의 로그오즈비에 대한 95% 신뢰구간은 OpLex와 SentiLex와 겹치지 않으며, 이는 일치도에 통계적으로 유의미한 차이가 있음을 나타낸다.
• LIWC의 (n,u) 및 (p,u) 쌍에 대한 일치도 로그오즈비는 OpLex 및 SentiLex보다 유의미하게 낮아, LIWC가 중립 감성에 대해 일관성 없는 출력을 내는 것으로 나타났다.
• 결과는 알고리즘 일치도가 레이블에 의존할 뿐 아니라 어휘에 의존함을 보여주며, LIWC는 모든 레이블 쌍에서 OpLex 및 SentiLex보다 일관되게 낮은 일치도를 보였다.
• 알고리즘 간 불일치의 통계적 패턴은 [16]에서 관찰된 인간 평가자 간 불일치 패턴과 매우 유사하며, 특히 중립 관련 쌍에서의 높은 불일치를 공통으로 보였다.
• 이 연구는 금본 기준 레이블이 없더라도 근사 동질성 검정과 로그선형 모델과 같은 통계적 방법이 감성 분석에서 알고리즘 변동성을 신뢰성 있게 탐지하고 측정할 수 있음을 확인한다.