[논문 리뷰] Language-Independent Sentiment Analysis Using Subjectivity and Positional Information

Veselin Raychev, Preslav Nakov|arXiv (Cornell University)|2019. 11. 28.

Sentiment Analysis and Opinion Mining참고 문헌 8인용 수 21

한 줄 요약

이 논문은 어순 가중치와 주관성 추정을 결합하여 감성 극성 분류를 향상시키는 언어 독립적 감성 분석 방법을 제안한다. 다항 베이지안 분류기를 사용하여 표준 영화 리뷰 데이터셋에서 89.85%의 정확도를 달성하며, 외부 언어학적 자원이나 파서를 사용하지 않고도 최고의 언어 독립적 결과에 맞먹는다.

ABSTRACT

We describe a novel language-independent approach to the task of determining the polarity, positive or negative, of the author's opinion on a specific topic in natural language text. In particular, weights are assigned to attributes, individual words or word bi-grams, based on their position and on their likelihood of being subjective. The subjectivity of each attribute is estimated in a two-step process, where first the probability of being subjective is calculated for each sentence containing the attribute, and then these probabilities are used to alter the attribute's weights for polarity classification. The evaluation results on a standard dataset of movie reviews shows 89.85% classification accuracy, which rivals the best previously published results for this dataset for systems that use no additional linguistic information nor external resources.

연구 동기 및 목표

• 파서, 품사 태거, 어간 추출기 등 외부 언어학적 자원을 사용하지 않는 언어 독립적 감성 극성 분류 시스템을 개발하는 것.
• 개별 단어와 바이그램의 어순 정보와 주관성 가능성 값을 통합하여 감성 분류 정확도를 향상시키는 것.
• 언어 특화 언어학 도구가 필요 없이도 주관성 추정을 통해 특성 가중치를 조정할 수 있는지 평가하는 것.
• 주관성과 어순 정보를 통합한 언어 독립적 특징이 언어 분석을 사용하는 더 복잡한 시스템의 성능을 뛰어넘거나 이를 능가할 수 있는지 보여주는 것.
• 주관성 점수를 활용하여 특성 가중치를 개선하고 문장 수준의 우선순위를 설정할 잠재력을 탐색하는 것.

제안 방법

• 단어의 위치와 추정된 주관성 확률에서 유도된 특성 가중치를 사용하는 다항 베이지안 분류기의 방법.
• 주관성 확률은 두 단계로 계산된다: 첫째, 별도의 주관성 데이터셋을 사용해 문장 수준의 주관성 가능성 확률을 추정한다; 둘째, 이 확률 값을 특성 가중치 조정에 사용한다.
• 특성 가중치는 어순에 따라 달라지며, 문장 내에서 더 중심적이거나 두드러진 위치에 있는 단어나 바이그램에 더 높은 가중치를 부여한다.
• 0+q 가중치 체계를 적용하며, q는 어순의 영향력을 조절한다. q=1일 때 성능이 최적이다.
• 주관성 데이터셋을 사용해 객관적인 문장을 걸러내고, 나머지 문장을 주관성 가능성에 따라 재정렬하여 특성의 관련성을 향상시킨다.
• 품사 태깅, 의존성 파싱, 어간 추출기를 사용하지 않아 언어 독립성을 유지한다.

실험 결과

연구 질문

• RQ1 언어 분석 없이 어순과 주관성 정보만으로 감성 분류 정확도를 향상시킬 수 있는가?
• RQ2 특성 가중치에 주관성 가능성 확률을 통합할 경우 감성 극성 분류 성능에 어떤 영향을 미치는가?
• RQ3 주관성 점수에 따라 문장을 정렬하는 것이 원래 문장 순서를 사용할 때보다 더 나은 분류 결과를 낳는가?
• RQ4 파서나 품사 태거와 같은 외부 언어학적 자원 없이도 언어 독립적 모델이 경쟁 가능한 정확도를 달성할 수 있는가?
• RQ5 일반어와 바이그램을 어순 및 주관성 기반 특성 가중치와 결합했을 때 분류 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 표준 영화 리뷰 데이터셋에서 89.85%의 정확도를 기록하였으며, 이는 통계적으로 유의미하며 이전에 발표된 언어 독립적 결과 중 최고 수준과 맞먹는다.
• 주관성 또는 어순 가중치 없이 일반어와 바이그램만 사용하는 기준 모델은 87.81%의 정확도를 기록하였으며, 이는 주관성 또는 어순 가중치 없이도 85.59%의 기존 기준보다 통계적으로 유의미한 향상이다.
• 주관성 데이터셋을 사용해 주관성 가능성에 따라 문장을 정렬하면 89.38%의 정확도를 기록하지만, 이는 기준 모델과 비교해 통계적으로 유의미한 향상은 아니다.
• 일반어, 바이그램, 어순 기반 가중치와 주관성 기반 특성 가중치를 결합했을 때 가장 높은 정확도인 89.85%를 달성하였다.
• 이 방법은 이전에 보고된 언어 독립적 결과 중 최고의 성능을 기록했으며, 일부 언어 분석 기능을 사용하는 시스템, 예를 들어 마츠모토 등이 보고한 SVM 기반의 88.1% 정확도를 뛰어넘기도 하였다.
• 최고 성능 결과(89.85%)의 95% 윌슨 신뢰구간은 [88.45%, 91.10%]이며, 이는 이전의 언어 독립적 접근 방식보다 통계적으로 유의미한 성능 향상을 확인한다.