[논문 리뷰] TF-IDFC-RF: A Novel Supervised Term Weighting Scheme

Flávio Carvalho, Gustavo Paiva Guedes|arXiv (Cornell University)|2020. 03. 12.

Sentiment Analysis and Opinion Mining참고 문헌 34인용 수 7

한 줄 요약

이 논문은 감성 분석을 위한 새로운 지도 학습 기반 용어 가중치 부여 기법인 TF-IDFC-RF를 제안한다. 이 기법은 클래스별 역문서 빈도(IDFC)와 관련성 피드백을 통합하여 TF-IDF와 TF-RF를 결합한다. SVM과 나이브 베이즈를 사용해 네 개의 이진 감성 분석 데이터셋에서 평가한 결과, TF-IDFC-RF는 기존의 아홉 가지 기법보다 뛰어난 성능을 보이며, 두 데이터셋에서 가장 높은 F1 점수를 기록하여 IGM 기반 및 전통적인 방법에 비해 뛰어난 일관성과 성능을 입증한다.

ABSTRACT

Sentiment Analysis is a branch of Affective Computing usually considered a binary classification task. In this line of reasoning, Sentiment Analysis can be applied in several contexts to classify the attitude expressed in text samples, for example, movie reviews, sarcasm, among others. A common approach to represent text samples is the use of the Vector Space Model to compute numerical feature vectors consisting of the weight of terms. The most popular term weighting scheme is TF-IDF (Term Frequency - Inverse Document Frequency). It is an Unsupervised Weighting Scheme (UWS) since it does not consider the class information in the weighting of terms. Apart from that, there are Supervised Weighting Schemes (SWS), which consider the class information on term weighting calculation. Several SWS have been recently proposed, demonstrating better results than TF-IDF. In this scenario, this work presents a comparative study on different term weighting schemes and proposes a novel supervised term weighting scheme, named as TF-IDFC-RF (Term Frequency - Inverse Document Frequency in Class - Relevance Frequency). The effectiveness of TF-IDFC-RF is validated with SVM (Support Vector Machine) and NB (Naive Bayes) classifiers on four commonly used Sentiment Analysis datasets. TF-IDFC-RF shows promising results, outperforming all other weighting schemes on two datasets.

연구 동기 및 목표

• 용어 가중치 부여 기법 중 비지도 학습 기반 기법인 TF-IDF의 한계를 해결하기 위해 클래스 수준의 정보를 통합함으로써 감성 분석의 성능을 향상시키는 것.
• 내부 클래스 및 외부 클래스 용어 분포를 모두 모델링함으로써 분류 정확도를 향상시키는 새로운 지도 학습 기반 용어 가중치 부여 기법을 제안하는 것.
• 네 개의 널리 사용되는 이진 클래스 감성 분석 데이터셋에서 TF-IDFC-RF를 기존 아홉 가지 용어 가중치 부여 기법과 비교 평가하는 것.
• SVM과 나이브 베이즈와 같은 다양한 분류기 및 다양한 특성 크기에서 TF-IDFC-RF의 강인성과 우수성을 입증하는 것.
• 이진 감성 분류에서 IGM 기반 및 기타 최첨단 지도 학습 기반 가중치 부여 기법에 비해 일관되고 높은 성능을 보이는 대안을 제공하는 것.

제안 방법

• TF-IDFC-RF는 용어 빈도(TF)와 클래스별 역문서 빈도(IDFC)를 통합하여 용어 가중치를 계산하며, IDFC는 감성 클래스별로 별도로 계산된다.
• 이 방법은 TF-RF 기법에서 유도된 관련성 피드백을 통합하여, 관련 문서에서 빈도가 높고 다른 문서에서는 희귀한 용어를 강조함으로써 분류의 구분 능력을 향상시킨다.
• 용어 가중치는 TF와 수정된 IDFC 요소의 곱으로 계산되며, 관련성 피드백 메커니즘에 의해 정보성이 높은 용어를 강조하도록 조정된다.
• 이 기법은 용어 가중치에서 유도된 수치적 특성 벡터를 사용하는 벡터 공간 모델을 기반으로 하며, 이후 SVM과 나이브 베이즈를 사용해 분류를 수행한다.
• 특성 크기를 500에서 14,000까지 다양하게 변화시켜 다양한 차원성에서의 성능 안정성을 평가하기 위해 실험을 수행한다.
• 비지도 학습 기법 두 가지(TF, TF-IDF)와 지도 학습 기법 여덟 가지(TF-RF, TF-IDF-ICF, IGM 기반 변종(TF-IGM, STF-IGM 등))과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 클래스별 IDF(IDFC)와 관련성 피드백을 통합하면 감성 분석에서 용어 가중치 부여 성능이 향상되는가?
• RQ2 TF-IDFC-RF는 이진 감성 분류에서 최첨단 지도 학습 기반 용어 가중치 부여 기법인 TF-IGM 및 그 변종에 비해 어떻게 비교되는가?
• RQ3 기존의 IGM 기반 기법에 비해 TF-IDFC-RF는 다양한 데이터셋과 분류기에서 더 일관된 성능을 보이는가?
• RQ4 TF-IDF와 TF-RF 원리를 융합한 하이브리드 접근 방식이 개별 구성 요소와 다른 고급 기법보다 뛰어난 성능을 낼 수 있는가?
• RQ5 제안된 기법은 다양한 특성 공간 크기에서 높은 성능을 유지하는가?

주요 결과

• TF-IDFC-RF는 SVM과 나이브 베이즈 분류기 모두에서 Polarity 및 Sarcasm 데이터셋에서 가장 높은 F1 점수를 기록하여, 비교한 아홉 가지 기법 전부를 능가했다.
• Movie Review 데이터셋에서는 14,000개의 특성에서 SVM을 사용할 경우 F1 점수 77.01, 나이브 베이즈를 사용할 경우 77.17을 기록하여 상위 성능를 보였다.
• Subjectivity 데이터셋에서는 14,000개의 특성에서 SVM을 사용할 경우 F1 점수 77.02, 나이브 베이즈를 사용할 경우 77.05를 기록하여 TF-IDF 및 기타 기법을 능가했다.
• IGM 기반 기법들(예: STF-IGM imp)은 일관되게 뛰어난 성능을 보이지 않았으며, 데이터셋과 특성 크기에 따라 성능이 크게 변동하는 반면, TF-IDFC-RF는 안정적인 성능을 유지했다.
• 모든 데이터셋과 분류기에서 TF-RF는 IGM 기반 기법들과 TF-IDFC-RF보다 성능이 열 劣했으며, 이는 이전에 보고된 성능 우월성 주장과 정면으로 배치된다.
• TF-IDF는 Subjectivity 데이터셋에서 최고 성능를 기록했지만, TF-IDFC-RF는 나머지 모든 데이터셋에서 이를 맞추거나 초월하여 더 넓은 적용 범위에서의 효과성을 입증했다.