[논문 리뷰] Performance Evaluation of Machine Learning Classifiers in Sentiment Mining

Vinodhini G. Chandrasekaran|arXiv (Cornell University)|2014. 02. 17.

Sentiment Analysis and Opinion Mining참고 문헌 10인용 수 7

한 줄 요약

이 연구는 아마존에서의 온라인 제품 리뷰에서 정서 분석을 위한 기계 학습 분류기 성능을 평가하며, 무작위, 선형, 부트스트랩 샘플링 방법을 사용한다. 연구 결과, 부트스트랩 샘플링을 사용한 서포트 벡터 머신(SVM)이 다른 분류기와 샘플링 기법보다 낮은 오분류율을 기록하여 가장 뛰어난 성능을 보였다.

ABSTRACT

In recent years, the use of machine learning classifiers is of great value in solving a variety of problems in text classification. Sentiment mining is a kind of text classification in which, messages are classified according to sentiment orientation such as positive or negative. This paper extends the idea of evaluating the performance of various classifiers to show their effectiveness in sentiment mining of online product reviews. The product reviews are collected from Amazon reviews. To evaluate the performance of classifiers various evaluation methods like random sampling, linear sampling and bootstrap sampling are used. Our results shows that support vector machine with bootstrap sampling method outperforms others classifiers and sampling methods in terms of misclassification rate.

연구 동기 및 목표

• 온라인 제품 리뷰의 정서 분석에서 다양한 기계 학습 분류기의 성능을 평가하는 것.
• 무작위, 선형, 부트스트랩 샘플링과 같은 다양한 샘플링 방법이 분류기 성능에 미치는 영향을 비교하는 것.
• 제품 리뷰의 정서 분류에서 최적의 분류기와 샘플링 기법 조합을 특정하는 것.
• 특정 분류기와 샘플링 전략이 오분류를 최소화하는 데서 뛰어난 성능을 보임을 경험적으로 입증하는 것.

제안 방법

• 정서 분석을 위한 데이터셋을 구성하기 위해 아마존에서 제품 리뷰를 수집하는 것.
• 데이터셋을 분할하기 위해 다수의 샘플링 기법—무작위 샘플링, 선형 샘플링, 부트스트랩 샘플링—를 적용하는 것.
• 샘플링된 데이터를 기반으로 다양한 기계 학습 분류기를 훈련하고 정서 분류 성능을 평가하는 것.
• 분류기와 샘플링 기법 간 성능 비교를 위해 오분류율을 주요 성능 지표로 사용하는 것.
• 다중 런에 걸쳐 일관된 평가를 기반으로 최고의 성능을 보인 분류기-샘플링 조합을 선별하는 것.

실험 결과

연구 질문

• RQ1 온라인 제품 리뷰의 정서 분류에서 어떤 기계 학습 분류기가 가장 뛰어난 성능을 보이는가?
• RQ2 다양한 샘플링 방법(무작위, 선형, 부트스트랩)은 정서 분류기 성능에 어떻게 영향을 미치는가?
• RQ3 특정 분류기와 특정 샘플링 기법의 조합이 유의미하게 낮은 오분류율을 제공하는가?
• RQ4 평가된 분류기와 샘플링 기법 간에 통계적으로 유의미한 성능 차이가 존재하는가?

주요 결과

• 서포트 벡터 머신(SVM) 분류기가 평가된 모든 분류기 중에서 가장 낮은 오분류율을 기록하였다.
• 부트스트랩 샘플링은 SVM 분류기와 조합했을 때 가장 유리한 결과를 도출하였다.
• SVM과 부트스트랩 샘플링의 조합은 오분류율 측면에서 다른 분류기-샘플링 조합보다 유의미하게 뛰어났다.
• 모든 분류기에서 무작위 샘플링과 선형 샘플링 방법은 부트스트랩 샘플링에 비해 더 높은 오분류율을 기록하였다.