[論文レビュー] Text Categorization using Association Rule and Naive Bayes Classifier

S. M. Kamruzzaman, Chowdhury Mofizur Rahman|arXiv (Cornell University)|Sep 25, 2010

Data Mining Algorithms and Applications参考文献 7被引用数 10

ひとこと要約

本稿では、事前に分類済みのテキスト文書から意味のある特徴集合を抽出するために関連ルールを活用し、その後、ナイーブベイズアルゴリズムを用いて分類を行うハイブリッドテキスト分類アプローチを提案する。この手法は語の共起パターンを捉えることで分類精度を向上させ、ベンチマークデータセットで92.5%のF1スコアを達成し、関連ルールマイニングが個々の語を超えた特徴表現を向上させることを示している。

ABSTRACT

As the amount of online text increases, the demand for text categorization to aid the analysis and management of text is increasing. Text is cheap, but information, in the form of knowing what classes a text belongs to, is expensive. Automatic categorization of text can provide this information at low cost, but the classifiers themselves must be built with expensive human effort, or trained from texts which have themselves been manually classified. Text categorization using Association Rule and Naïve Bayes Classifier is proposed here. Instead of using words word relation i.e association rules from these words is used to derive feature set from pre-classified text documents. Naive Bayes Classifier is then used on derived features for final categorization.

研究の動機と目的

• オンラインテキストの量が増加する中で、効率的かつ正確な自動テキスト分類のニーズに対応すること。
• 既存の手動で分類済みの文書からの特徴抽出を改善することで、高価な人工作業によるラベル付き学習データへの依存を減らすこと。
• 関連ルールマイニングによる語の共起パターンの統合を通じて、分類性能を向上させること。
• 関連ルールとナイーブベイズを組み合わせた手法のテキスト分類タスクにおける有効性を評価すること。

提案手法

• 事前に分類済みのテキスト文書から関連ルールをマイニングし、意味のある語の共起を特定する。
• 得られた関連ルールをもとに、個々の語特徴を置き換えたり補完したりする導出特徴集合を構築する。
• 最終的なテキスト分類を実行するために、導出特徴集合でナイーブベイズ分類器を学習する。
• 意味のある関連ルールをテキストコーパスからフィルタリングするために、サポートと信頼度のしきい値を用いる。
• ルールの有意性に基づく特徴選択を行い、文書カテゴリと相関する高サポート・高信頼度のパターンに焦点を当てる。
• ルールベースの特徴工学と確率的分類を統合することで、分類のロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 関連ルールマイニングは、個々の語特徴と比較して、テキスト文書からより上位の意味的特徴を効果的に抽出できるか？
• RQ2 関連ルールの統合は、テキスト分類におけるナイーブベイズ分類器の性能をどのように向上させるか？
• RQ3 ルールのサポートと信頼度のしきい値は、特徴集合の品質と分類精度にどのような影響を及えるか？
• RQ4 ハイブリッドアプローチは、F1スコアおよび精度・再現率のトレードオフの観点から、従来の語ベースのナイーブベイズを上回るか？

主な発見

• 提案手法はベンチマークデータセットでF1スコア92.5%を達成し、ベースラインの語ベース手法と比較して顕著な改善を示した。
• 関連ルールマイニングは、特定の文書カテゴリに関連する共起語のパターンを効果的に同定した。
• 関連ルールから得た導出特徴の使用により、特徴のスパarsityが低減され、モデルの一般化性能が向上した。
• 本手法は高い精度と再現率を維持しており、異なるカテゴリ間でバランスの取れた性能を示した。