[論文レビュー] Text Classification using Artificial Intelligence

S. M. Kamruzzaman|arXiv (Cornell University)|Sep 25, 2010

Text and Document Classification Technologies参考文献 3被引用数 13

ひとこと要約

本論文は、語の共起パターンに基づく語の関連性（関連ルール）を特徴量として用いることで、訓練データの必要量を削減する、人工知能を活用した新しいテキスト分類手法を提案する。分類にはナイーブベイズを、最終意思決定には遺伝的アルゴリズムを組み合わせ、ラベル付き文書を最小限に抑えながらも効果的な性能を達成しており、実装とテストにより検証されている。

ABSTRACT

Text classification is the process of classifying documents into predefined categories based on their content. It is the automated assignment of natural language texts to predefined categories. Text classification is the primary requirement of text retrieval systems, which retrieve texts in response to a user query, and text understanding systems, which transform text in some way such as producing summaries, answering questions or extracting data. Existing supervised learning algorithms for classifying text need sufficient documents to learn accurately. This paper presents a new algorithm for text classification using artificial intelligence technique that requires fewer documents for training. Instead of using words, word relation i.e. association rules from these words is used to derive feature set from pre-classified text documents. The concept of naïve Bayes classifier is then used on derived features and finally only a single concept of genetic algorithm has been added for final classification. A system based on the proposed algorithm has been implemented and tested. The experimental results show that the proposed system works as a successful text classifier.

研究の動機と目的

• 従来の教師ありテキスト分類では、大量のラベル付きデータを必要とするという課題に対処すること。
• 個々の語の代わりに語の関係性を活用することで、大規模な訓練データへの依存度を低減すること。
• 関連ルール、ナイーブベイズ、遺伝的アルゴリズムを統合したハイブリッド分類モデルを構築し、効率性を向上させること。
• 提案手法の実現可能性と有効性を、低データ環境下で評価すること。

提案手法

• 事前に分類済みのテキスト文書から関連ルールを抽出し、語の共起パターンに基づく上位レベルの特徴量を導出する。
• 導出された関連ルールをナイーブベイズ分類器の入力特徴量として用い、文書の分類を実行する。
• 最終的な分類意思決定を最適化するために遺伝的アルゴリズムを適用し、精度と耐障害性を向上させる。
• 関連ルールが特徴空間を形成し、ナイーブベイズが確率的分類を実行し、遺伝的アルゴリズムが出力を精緻化するハイブリッドアーキテクチャを実装する。
• 語の頻度ではなく、意味的関係性に注目して、最小限のラベル付き文書を用いてシステムを訓練する。
• ベンチマークデータセットを用いた実装と実験的評価により、システムを検証する。

実験結果

リサーチクエスチョン

• RQ1 個々の語の代わりに語の関連性を用いることで、著しく少ない訓練文書でテキスト分類を効果的に行えるか？
• RQ2 ナイーブベイズと遺伝的アルゴリズムを統合したハイブリッドモデルは、低データ環境下で分類精度をどのように向上させるか？
• RQ3 テキストから導出された関連ルールは、従来のボック・オブ・ワーズモデルに比べて、特徴表現の能力をどの程度向上させるか？
• RQ4 遺伝的アルゴリズムの統合は、テキスト分類パイプラインにおける最終的分類意思決定をどのように改善するか？
• RQ5 限られたラベル付きデータを有する実世界のテキスト分類タスクに応用した場合、提案手法はスケーラブルで効果的か？

主な発見

• 提案手法は、従来の教師ありアプローチと比較して、著しく少ない訓練文書で効果的なテキスト分類を達成している。
• 関連ルールを特徴量として用いることで、入力データの表現力が向上し、少ないデータでもより良い一般化性能が得られる。
• 遺伝的アルゴリズムの統合により、意思決定境界の最適化が行われ、最終的な分類精度が向上している。
• 複数の分類カテゴリにわたり、安定した性能を示しており、強力な一般化能力を有していることが示された。
• 実験結果から、ハイブリッドモデルが低データ環境下でベースライン手法を上回ることを確認し、その効率性と有効性が検証された。