[論文レビュー] Efficient Feature Selection techniques for Sentiment Analysis

Avinash Madasu, E. Sivasankar|arXiv (Cornell University)|Nov 1, 2019

Sentiment Analysis and Opinion Mining参考文献 43被引用数 8

ひとこと要約

この論文は、TF-IDF特徴量を用いた感情分析において、フィルターベース特徴選択手法（カイ二乗検定とカウント差分）とアンサンブル手法（バギングとランダムサブスペース）を組み合わせた手法を評価している。この手法は、精度、学習時間、OOV（語彙外語）の取り扱いにおいて、深層ニューラルネットワークを上回ることを示しており、特に小規模データセットにおいて顕著である。

ABSTRACT

Sentiment analysis is a domain of study that focuses on identifying and classifying the ideas expressed in the form of text into positive, negative and neutral polarities. Feature selection is a crucial process in machine learning. In this paper, we aim to study the performance of different feature selection techniques for sentiment analysis. Term Frequency Inverse Document Frequency (TF-IDF) is used as the feature extraction technique for creating feature vocabulary. Various Feature Selection (FS) techniques are experimented to select the best set of features from feature vocabulary. The selected features are trained using different machine learning classifiers Logistic Regression (LR), Support Vector Machines (SVM), Decision Tree (DT) and Naive Bayes (NB). Ensemble techniques Bagging and Random Subspace are applied on classifiers to enhance the performance on sentiment analysis. We show that, when the best FS techniques are trained using ensemble methods achieve remarkable results on sentiment analysis. We also compare the performance of FS methods trained using Bagging, Random Subspace with varied neural network architectures. We show that FS techniques trained using ensemble classifiers outperform neural networks requiring significantly less training time and parameters thereby eliminating the need for extensive hyper-parameter tuning.

研究の動機と目的

• 感情分析におけるさまざまなフィルターベース特徴選択手法の有効性を評価すること。
• アンサンブル学習手法（バギングとランダムサブスペース）が、選択された特徴量の性能にどのように寄与するかを調査すること。
• ベンチマーク感情分析データセット上で、特徴選択に基づくモデルと深層ニューラルネットワークアーキテクチャの性能を比較すること。
• 特徴選択とニューラルネットワークの間で、学習時間、モデルパラメータ数、OOV語（語彙外語）の取り扱いに関するトレードオフを分析すること。
• 感情分類の最適な特徴選択手法、ベース分類器、およびアンサンブル手法の組み合わせを特定すること。

提案手法

• テキストデータから高次元の特徴語彙を生成するために、TF-IDFを用いた特徴抽出。
• フィルターベース特徴選択手法の適用：カイ二乗検定、カウント差分（CD）、および情報ゲインを用いて関連する特徴量を選択。
• 選択された特徴量上で、ロジスティック回帰（LR）、多項式ベイズ素性分類器（MNB）、決定木（DT）、およびSVMのベース分類器を学習。
• アンサンブル手法の適用：バギングとランダムサブスペースを用いて、分類器の汎化性能を向上させ、分散を低減。
• 標準データセット（MR、Books、DVD、Electronics、Kitchen）上で、最先端のニューラルネットワークモデル（LSTM、Bi-LSTM、CNN-Rand、CNN-Static、TF-DCNN/T-MCCNN）と比較。
• 5つのベンチマークデータセットで精度とF1スコアを評価し、信頼性を確保するため5回の実行平均をとった。

実験結果

リサーチクエスチョン

• RQ1 バギングとランダムサブスペースのアンサンブル手法と組み合わせた場合、フィルターベース特徴選択手法（カイ二乗検定、CD、情報ゲイン）の中で、どの手法が感情分析で最高の精度を達成するか？
• RQ2 アンサンブル手法（バギングとランダムサブスペース）は、選択された特徴量上で学習された機械学習分類器の性能をどのように向上させるか？
• RQ3 特徴選択に基づくモデルは、精度、学習時間、パラメータ効率の観点から、深層ニューラルネットワークアーキテクチャを上回ることができるか？
• RQ4 ニューラルネットワークが事前学習済み単語埋め込みに依存するのに対し、特徴選択モデルは語彙外語（OOV）語をどのように取り扱うか？
• RQ5 特徴選択とアンサンブルを用いる場合と深層学習モデルを用いる場合の、モデルの複雑さ（パラメータ数）と性能のトレードオフは何か？

主な発見

• カイ二乗検定とカウント差分による特徴選択手法が、すべてのデータセットで最高の精度を達成し、情報ゲインや他のフィルターよりも優れていた。
• カイ二乗検定と多項式ベイズ素性分類器（MNB）を組み合わせ、ランダムサブスペースアンサンブルを適用した場合、Electronicsデータセットで84.75%のF1スコア、Kitchenデータセットで84.5%のF1スコアを達成した。
• ランダムサブスペースを用いた特徴選択モデルは、バギングを用いたモデルよりも優れており、特にBooksおよびElectronicsデータセットで顕著だった。
• 最良の特徴選択モデル（カイ二乗＋MNB＋ランダムサブスペース）は、Electronicsで84.75%、Kitchenで84.5%のF1スコアを達成し、TF-MCCNN や TF-DCNN ニューラルネットワークをも上回った。
• 特徴選択とアンサンブル手法を組み合わせたモデルは、LSTM（560万以上ものパラメータ）よりもはるかに少ない学習時間と少ないパラメータ数（例：LRでは8,001）で実現可能であり、ハイパーパramータチューニングの必要性が著しく低下した。
• 特徴選択手法は語彙外語（OOV）語に対して頑健であったのに対し、事前学習済み埋め込みに依存するニューラルネットワークは、レア語や未知語の処理に苦労していた。