[論文レビュー] Text Classification using Data Mining

S. M. Kamruzzaman, Farhana Haider+1 more|arXiv (Cornell University)|Sep 25, 2010

Text and Document Classification Technologies参考文献 6被引用数 27

ひとこと要約

本論文は、語の関連性を連合ルールを用いて抽出するデータマイニング技術を活用した、テキスト分類の新規アプローチを提案する。特徴抽出には連合ルールを用い、分類にはナイーブベイズを、最終意思決定には単一の遺伝的アルゴリズムを組み合わせる。従来の教師ありモデルに比べて訓練文書を少なくしても効果的な分類が可能であり、実験的検証でも優れた性能を示した。

ABSTRACT

Text classification is the process of classifying documents into predefined categories based on their content. It is the automated assignment of natural language texts to predefined categories. Text classification is the primary requirement of text retrieval systems, which retrieve texts in response to a user query, and text understanding systems, which transform text in some way such as producing summaries, answering questions or extracting data. Existing supervised learning algorithms to automatically classify text need sufficient documents to learn accurately. This paper presents a new algorithm for text classification using data mining that requires fewer documents for training. Instead of using words, word relation i.e. association rules from these words is used to derive feature set from pre-classified text documents. The concept of Naive Bayes classifier is then used on derived features and finally only a single concept of Genetic Algorithm has been added for final classification. A system based on the proposed algorithm has been implemented and tested. The experimental results show that the proposed system works as a successful text classifier.

研究の動機と目的

• 教師ありテキスト分類手法が大量のラベル付き訓練データを必要とするという制限を解消すること。
• 個々の語ではなく語の関係に基づく特徴抽出技術を開発すること。
• 連合ルールマイニングを確率的分類と遺伝的アルゴリズムと統合し、効率性と正確性を向上させること。
• 大量のラベル付きデータセットへの依存を減らしながらも、分類性能を維持すること。
• 実世界のテキスト分類タスクにおいて、実装と実証的テストを通じて提案システムを検証すること。

提案手法

• 事前に分類済みの文書における語の共起に基づく連合ルールを用いて、語の間の意味的関係を捉えることで、特徴抽出を実施する。
• 得られた特徴集合に対してナイーブベイズ分類器を適用し、抽出された関連性に基づいてクラス確率を推定する。
• 最終分類ステップで単一の遺伝的アルゴリズムを用いて意思決定境界を最適化し、分類正確性を向上させる。
• システムはパイプラインとして実装される：文書前処理 → 連合ルールマイニング → 特徴生成 → ナイーブベイズ分類 → 遺伝的アルゴリズムによる最適化。
• 語の頻度ではなく、関係性のパターンに注目することで、最小限の訓練データで効果を発揮する。
• 語の文脈的関係をモデル化する連合ルールを用いることで、大規模なラベル付きコーパスへの依存を回避する。

実験結果

リサーチクエスチョン

• RQ1 個々の語の特徴ではなく、語の関連性ルールを用いることで、テキスト分類を効果的に行うことができるか？
• RQ2 連合ルールマイニングとナイーブベイズ、および遺伝的アルゴリズムを組み合わせることで、大規模な訓練データセットの必要性が低下するか？
• RQ3 従来の教師ありテキスト分類手法と比較して、提案手法の正確性と効率性はどのように異なるか？
• RQ4 制限されたラベル付きデータにおいて、関係性特徴が分類性能をどの程度向上させるか？
• RQ5 データマイニングと進化的計算を組み合わせたハイブリッドモデルは、頑健なテキスト分類結果を達成できるか？

主な発見

• 提案システムは、従来の教師あり手法に比べて訓練文書を少なくしても高い分類正確性を達成した。
• 連合ルールを用いた特徴抽出は、語の意味的関係を効果的に捉えており、モデルの一般化性能を向上させた。
• 最終分類ステップにおける遺伝的アルゴリズムの統合により、意思決定の正確性と頑健性が向上した。
• 実験結果から、テストされたデータセットすべてにおいて、システムの有効性が確認された。
• 大規模なラベル付きデータセットへの依存が低減したため、リソースが限られたテキスト分類のシナリオに適していることが示された。
• システムは国際会議で実際に実装され検証され、実用的妥当性が裏付けられた。