[논문 리뷰] Supervised Term Weighting Metrics for Sentiment Analysis in Short Text

Hussam Hamdan, Patrice Bellot외 1명|arXiv (Cornell University)|2016. 10. 10.

Text and Document Classification Technologies참고 문헌 18인용 수 3

한 줄 요약

이 논문은 트위터, 레스토랑 리뷰, 노트북 리뷰 데이터셋에서 단문 텍스트의 감성 분석을 위해 15개의 지도 학습 전역 단어 가중치 메트릭과 4개의 국소 메트릭을 SVM를 사용하여 평가한다. 대부분의 메트릭이 이진 베이스라인 성능을 향상시키는 것으로 나타났으며, rf, kl, wllr와 같은 메트릭은 일관되게 효과적인 것으로 나타났다. 좋은 메트릭은 넓은 분포와 비영이 아닌 평균을 보이고, 나쁜 메트릭은 좁고 거의 영에 가까운 분포를 보였다.

ABSTRACT

Term weighting metrics assign weights to terms in order to discriminate the important terms from the less crucial ones. Due to this characteristic, these metrics have attracted growing attention in text classification and recently in sentiment analysis. Using the weights given by such metrics could lead to more accurate document representation which may improve the performance of the classification. While previous studies have focused on proposing or comparing different weighting metrics at two-classes document level sentiment analysis, this study propose to analyse the results given by each metric in order to find out the characteristics of good and bad weighting metrics. Therefore we present an empirical study of fifteen global supervised weighting metrics with four local weighting metrics adopted from information retrieval, we also give an analysis to understand the behavior of each metric by observing and analysing how each metric distributes the terms and deduce some characteristics which may distinguish the good and bad metrics. The evaluation has been done using Support Vector Machine on three different datasets: Twitter, restaurant and laptop reviews.

연구 동기 및 목표

• 단문 텍스트 감성 분석에서 일부 지도 학습 단어 가중치 메트릭이 다른 메트릭보다 우수한 이유를 이해하는 것.
• 다양한 데이터셋에서 전역 및 국소 단어 가중치 메트릭의 분포적 행동을 분석하는 것.
• 고성능 메트릭과 저성능 메트릭을 구분하는 특성들을 규명하는 것.
• 국소 및 전역 가중치 기반 방식을 조합했을 때 분류 성능에 미치는 영향을 평가하는 것.
• 보고된 F1 스코어를 넘어서 분포 패턴에 초점을 맞춰 메트릭 효과성에 대한 경험적 통찰을 제공하는 것.

제안 방법

• 세 가지 벤치마크 데이터셋(트위터, 레스토랑 리뷰, 노트북 리뷰)에서 15개의 전역 지도 학습 단어 가중치 메트릭과 4개의 국소 가중치 메트릭을 경험적으로 평가한다.
• 모든 실험에서 일관된 평가를 확보하기 위해 분류기로 서포트 벡터 머신(SVM)을 사용한다.
• 국소 가중치에 대해 표준 벡터 스페이스 모델(VSM) 표현을 적용하며, 이는 이진, tf, atf, logtf, sumstd/local 정규화를 포함한다.
• 모든 국소 및 전역 메트릭 조합의 F1 스코어를 측정하여 상대적 효과성을 평가한다.
• 각 전역 메트릭에 대해 코퍼스 전체에서 단어 가중치의 분포를 분석하며, 평균, 표준편차, 왜도를 중심으로 분석한다.
• 다양한 데이터셋 간 결과를 비교하여 일관되게 우수한 성능을 보이는 메트릭을 식별하고, 메트릭 행동의 일반화 가능성 여부를 평가한다.

실험 결과

연구 질문

• RQ1 다양한 단문 텍스트 데이터셋에서 전역 및 국소 단어 가중치 메트릭 중 어떤 것이 일관되게 감성 분류 성능을 향상시키는가?
• RQ2 단어 가중치의 통계적 분포(평균, 분산, 왜도)는 특정 메트릭의 성능와 어떤 관계가 있는가?
• RQ3 단문 텍스트 감성 분석에서 고성능 메트릭과 저성능 메트릭을 구분하는 특성들은 무엇인가?
• RQ4 국소 가중치 기반 방식이 전역 메트릭과 조합되었을 때 전체 성능에 어느 정도의 영향을 미치는가?
• RQ5 다른 도메인(예: 트위터 대비 제품 리뷰) 간에 메트릭 행동에 일관된 패턴을 식별할 수 있는가?

주요 결과

• 이진 베이스라인(bl*tp)은 라이프스터 데이터셋에서 69.33%의 F1 스코어를 기록했으며, 대부분의 전역 메트릭이 이에 대비해 성능 향상을 보였다.
• dsidf 메트릭은 atf 국소 가중치와 조합했을 때 라이프스터 데이터셋에서 최고의 F1 스코어 72.02%를 기록했다.
• ne 메트릭은 atf와 조합했을 때 라이프스터 데이터셋에서 71.71%의 F1 스코어를 기록했으며, 상위 성능를 보이는 조합 중 하나였다.
• rf, kl, wllr와 같은 메트릭은 세 데이터셋 전반에서 일관되게 뛰어난 성능를 보이며, 강건성을 입증했다.
• 성능이 열악한 메트릭은 좁은 분포와 거의 영에 가까운 평균을 보이며, 분류 능력이 제한됨을 시사했다.
• tf 및 atf와 같은 국소 메트릭은 효과적인 전역 메트릭과 조합되었을 때, 특히 트위터와 레스토랑 리뷰 데이터셋에서 성능 향상에 기여했다.