[論文レビュー] TF-IDFC-RF: A Novel Supervised Term Weighting Scheme

Flávio Carvalho, Gustavo Paiva Guedes|arXiv (Cornell University)|Mar 12, 2020

Sentiment Analysis and Opinion Mining参考文献 34被引用数 7

ひとこと要約

本稿では、クラス固有の逆文書頻度（IDFC）と関連フィードバックを組み込んだ、感情分析のための新しい教師あり用語重み付け方式TF-IDFC-RFを提案する。SVMおよびナイーブベイズを用いた4つの二値感情分析データセットでの評価において、TF-IDFC-RFは9つの既存手法を上回り、2つのデータセットで最高のF1スコアを達成し、IGMベースおよび伝統的な手法に比べて優れた一貫性と性能を示した。

ABSTRACT

Sentiment Analysis is a branch of Affective Computing usually considered a binary classification task. In this line of reasoning, Sentiment Analysis can be applied in several contexts to classify the attitude expressed in text samples, for example, movie reviews, sarcasm, among others. A common approach to represent text samples is the use of the Vector Space Model to compute numerical feature vectors consisting of the weight of terms. The most popular term weighting scheme is TF-IDF (Term Frequency - Inverse Document Frequency). It is an Unsupervised Weighting Scheme (UWS) since it does not consider the class information in the weighting of terms. Apart from that, there are Supervised Weighting Schemes (SWS), which consider the class information on term weighting calculation. Several SWS have been recently proposed, demonstrating better results than TF-IDF. In this scenario, this work presents a comparative study on different term weighting schemes and proposes a novel supervised term weighting scheme, named as TF-IDFC-RF (Term Frequency - Inverse Document Frequency in Class - Relevance Frequency). The effectiveness of TF-IDFC-RF is validated with SVM (Support Vector Machine) and NB (Naive Bayes) classifiers on four commonly used Sentiment Analysis datasets. TF-IDFC-RF shows promising results, outperforming all other weighting schemes on two datasets.

研究の動機と目的

• TF-IDF などの教師なし用語重み付け手法の感情分析における限界を解消するため、クラスレベルの情報を統合すること。
• クラス内およびクラス間の用語分布をモデル化することで分類精度を向上させる、新たな教師あり用語重み付け方式を提案すること。
• 4つの広く使われている二値感情分析データセットにおいて、TF-IDFC-RFを9つの既存の用語重み付け手法と比較して評価すること。
• SVMおよびナイーブベイズなどの異なる分類器と、さまざまな特徴量サイズにおいて、TF-IDFC-RFの頑健性と優位性を示すこと。
• 二値感情分類におけるIGMベースおよびその他の最先端の教師あり重み付け手法の代替として、一貫性があり高い性能を発揮する代替手法を提供すること。

提案手法

• TF-IDFC-RFは、用語頻度（TF）と、感情クラスごとに計算されるクラス固有の逆文書頻度（IDFC）を統合することで用語重みを算出する。
• TF-RF方式からの関連フィードバックを組み込み、関連する文書で頻出するが他の文書ではまれな用語を強調することで、識別能を向上させる。
• 用語重みは、TFと、関連フィードバック機構によって調整された修正済みIDFC要因の積として計算される。この機構により、情報量の多い用語が強調される。
• 本手法は、用語重みから導出される数値的特徴ベクトルを用いたベクトル空間モデルを用い、SVMおよびナイーブベイズによる分類を実施する。
• 特徴量サイズを500から14,000まで変化させることで、異なる次元性における性能の安定性を評価する。
• 2つの教師なし（TF、TF-IDF）および8つの教師あり手法（TF-RF、TF-IDF-ICF、IGMベースの変種（TF-IGM、STF-IGMなど））と比較する。

実験結果

リサーチクエスチョン

• RQ1 クラス固有の IDF（IDFC）と関連フィードバックを統合することで、感情分析における用語重み付けの性能が向上するか？
• RQ2 TF-IDFC-RF は、TF-IGM やその変種などの最先端の教師あり用語重み付け手法に比べて、二値感情分類において優れているか？
• RQ3 TF-IDFC-RF は、既存の IGM ベースの手法と比較して、異なるデータセットや分類器において一貫性があるか？
• RQ4 TF-IDF と TF-RF の原則を組み合わせたハイブリッド手法は、個々のコンponents や他の高度な手法を上回る性能を発揮できるか？
• RQ5 提案手法は、さまざまな特徴空間サイズにおいても高い性能を維持できるか？

主な発見

• SVMおよびナイーブベイズ分類器を用いた Polarity および Sarcasm データセットにおいて、TF-IDFC-RF は9つの比較手法すべてを上回り、最高の F1 スコアを達成した。
• Movie Review データセットでは、14,000 の特徴量を使用した場合、SVM で F1 スコア 77.01、ナイーブベイズで 77.17 を達成し、上位に位置した。
• Subjectivity データセットでは、14,000 の特徴量を使用した場合、SVM で F1 スコア 77.02、ナイーブベイズで 77.05 を達成し、TF-IDF や他の手法を上回った。
• IGM ベースの手法（例：STF-IGM imp）は一貫して他の手法を上回らなかった。性能はデータセットや特徴量サイズによって顕著に変動し、TF-IDFC-RF の安定した性能とは対照的であった。
• TF-RF は、すべてのデータセットおよび分類器において、IGM ベースの手法や TF-IDFC-RF よりも劣った性能を示した。これは、従来の優位性に関する主張とは矛盾する。
• TF-IDF は Subjectivity データセットで最高の性能を示したが、TF-IDFC-RF は他のすべてのデータセットで同等またはそれを上回り、より広範な有効性を示した。