[論文レビュー] Inverse-Category-Frequency Based Supervised Term Weighting Schemes for Text Categorization *

Deqing Wang, Hui Zhang|arXiv (Cornell University)|Mar 1, 2013

Text and Document Classification Technologies参考文献 34被引用数 67

ひとこと要約

本稿では、従来の逆文書頻度（idf）の代わりに逆カテゴリ頻度（icf）を用いることで、文書ではなくカテゴリ内で希少な語を優先する2つの新しい教師あり語重み付け手法—tf.icfおよびicfベース—を提案する。実験の結果、複数の分類器およびコーパスにおいて、6つの教師ありおよび3つの従来の手法と比較して、マクロ-F1およびミクロ-F1の両面で優れるか、同等の性能を示した。

ABSTRACT

Term weighting schemes often dominate the performance of many classifiers, such as kNN, centroid-based classifier and SVMs. The widely used term weighting scheme in text categorization, i.e., tf.idf, is originated from information retrieval (IR) field. The intuition behind idf for text categorization seems less reasonable than IR. In this paper, we introduce inverse category frequency (icf) into term weighting scheme and propose two novel approaches, i.e., tf.icf and icf-based supervised term weighting schemes. The tf.icf adopts icf to substitute idf factor and favors terms occurring in fewer categories, rather than fewer documents. And the icf-based approach combines icf and relevance frequency (rf) to weight terms in a supervised way. Our cross-classifier and cross-corpus experiments have shown that our proposed approaches are superior or comparable to six supervised term weighting schemes and three traditional schemes in terms of macro-F1 and micro-F1.

研究の動機と目的

• tf.idfの限界に対処すること。特に、文書の希少性に注目するidfが、カテゴリの希少性に比べてテキスト分類において不適切である点を改善する。
• 教師ありテキスト分類において、逆カテゴリ頻度（icf）が語の識別力の反映に優れているかどうかを検討すること。
• 分類性能の向上を目的として、icfと関連頻度（rf）を組み合わせた教師あり語重み付け手法を開発すること。
• 複数の分類器およびコーパスを用いて提案手法を評価し、汎用性と頑健性を確認すること。

提案手法

• idfをicfに置き換えたtf.icfという語重み付け手法を提案。これは、文書ではなくカテゴリ内で少ない頻度で出現する語を優先する。
• icfと関連頻度（rf）を組み合わせた、icfベースの教師あり語重み付け手法を導入。rfは、語が関連するカテゴリ内での頻度を測定する。
• icf = log(C / N_c) を用いる。ここでCはカテゴリの総数、N_cは語を含むカテゴリ数である。
• kNN、センタロイドベース、SVM分類器に重み付けされた語を適用し、異なる学習パラダイムにおける性能を評価する。
• クロス分類器およびクロスコーパス評価を実施し、提案手法の頑健性を検証する。
• マクロ-F1およびミクロ-F1を指標として用い、提案手法を6つの教師ありおよび3つの従来の語重み付け手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 語重み付けにおいてidfをicfに置き換えることで、教師あり設定におけるテキスト分類性能が向上するか？
• RQ2 icfと関連頻度（rf）の組み合わせは、既存の教師あり語重み付け手法と比較してどのように異なるか？
• RQ3 提案手法は、異なる分類器およびテキストコーパスに一般化可能か？
• RQ4 マクロ-F1およびミクロ-F1の観点から、tf.icfおよびicfベースの手法の性能は、既存の語重み付け手法を上回るか、同等か？

主な発見

• tf.icf手法は、マクロ-F1およびミクロ-F1の両面で、6つの教師ありおよび3つの従来の語重み付け手法と同等または優れた性能を示した。
• icfベースの教師あり語重み付け手法は、複数の分類器およびコーパスにおいて、優れたか、同等の性能を達成した。
• カテゴリの希少性に注目するicfの使用により、文書ベースのidfよりも、テキスト分類においてより優れた識別的語選択が可能になった。
• クロス分類器およびクロスコーパスの実験により、提案された語重み付け手法の頑健性と一般化能力が確認された。
• 結果から、カテゴリレベルでの識別性が重要な状況では、icfベースの重み付けが特に有効であることが示された。
• 提案手法は、マクロ-F1およびミクロ-F1の両方で一貫した改善を示しており、すべてのカテゴリでバランスの取れた性能が得られていることが示された。