[論文レビュー] Performance Evaluation of Machine Learning Classifiers in Sentiment Mining

Vinodhini G. Chandrasekaran|arXiv (Cornell University)|Feb 17, 2014

Sentiment Analysis and Opinion Mining参考文献 10被引用数 7

ひとこと要約

本研究では、アマゾンのオンライン製品レビューから感情分析のための機械学習分類器を評価し、ランダム、線形、ブートストラップサンプリングの手法を用いて検証した。その結果、ブートストラップサンプリングを用いたサポートベクターマシン（SVM）が、他の分類器やサンプリング手法よりも誤分類率が低く、最も優れた性能を示した。

ABSTRACT

In recent years, the use of machine learning classifiers is of great value in solving a variety of problems in text classification. Sentiment mining is a kind of text classification in which, messages are classified according to sentiment orientation such as positive or negative. This paper extends the idea of evaluating the performance of various classifiers to show their effectiveness in sentiment mining of online product reviews. The product reviews are collected from Amazon reviews. To evaluate the performance of classifiers various evaluation methods like random sampling, linear sampling and bootstrap sampling are used. Our results shows that support vector machine with bootstrap sampling method outperforms others classifiers and sampling methods in terms of misclassification rate.

研究の動機と目的

• オンライン製品レビューの感情分析における、さまざまな機械学習分類器の性能を評価すること。
• ランダム、線形、ブートストラップサンプリングの異なるサンプリング手法が、分類器の性能に与える影響を比較すること。
• 製品レビューの感情分類において、最適な分類器とサンプリング手法の組み合わせを特定すること。
• 特定の分類器とサンプリング戦略が誤分類を最小限に抑えるという実証的証拠を提供すること。

提案手法

• アマゾンから製品レビューを収集し、感情分析用のデータセットを構築すること。
• 複数のサンプリング手法（ランダムサンプリング、線形サンプリング、ブートストラップサンプリング）を用いてデータセットを分割すること。
• サンプル化されたデータに対して、さまざまな機械学習分類器を訓練・評価し、感情分類を実施すること。
• 誤分類率を主な性能指標として用い、分類器およびサンプリング手法の比較を行うこと。
• 複数回の実行にわたる一貫した評価に基づき、最良の分類器-サンプリング組み合わせを選定すること。

実験結果

リサーチクエスチョン

• RQ1 オンライン製品レビューの感情分類において、どの機械学習分類器が最も優れた性能を示すか？
• RQ2 異なるサンプリング手法（ランダム、線形、ブートストラップ）は、感情分類器の性能にどのように影響を与えるか？
• RQ3 特定の分類器と特定のサンプリング手法の組み合わせが、顕著に低い誤分類率を達成するか？
• RQ4 評価された分類器およびサンプリング手法間には、統計的に有意な性能差が存在するか？

主な発見

• サポートベクターマシン（SVM）分類器が、すべての評価済み分類器の中で最も低い誤分類率を達成した。
• ブートストラップサンプリングは、SVM分類器と組み合わせた場合、最も良好な結果をもたらした。
• 誤分類率の観点から、SVMにブートストラップサンプリングを組み合わせたアプローチが、他の分類器-サンプリングの組み合わせを著しく上回った。
• すべての分類器において、ランダムおよび線形サンプリング手法は、ブートストラップサンプリングに比べて高い誤分類率を示した。