[論文レビュー] Domain and Language Independent Feature Extraction for Statistical Text Categorization

Thomas A. Bayer, Ingrid Renz+2 more|ArXiv.org|Jul 2, 1996

Text and Document Classification Technologies参考文献 11被引用数 7

ひとこと要約

本稿では、統計的語形還元と言語学的知識を用いて代表的コーパスから特徴を自動抽出する、ドメインおよび言語に依存しないテキスト分類システムを提示する。線形次元削減と多項式ベースの最小二乗分類を適用し、DIA出力および真値テキストデータの両方で信頼性が高く、高速かつ完全に自動化された分類を実現し、ドメインや言語を問わず高い適応性を示す。

ABSTRACT

A generic system for text categorization is presented which uses a representative text corpus to adapt the processing steps: feature extraction, dimension reduction, and classification. Feature extraction automatically learns features from the corpus by reducing actual word forms using statistical information of the corpus and general linguistic knowledge. The dimension of feature vector is then reduced by linear transformation keeping the essential information. The classification principle is a minimum least square approach based on polynomials. The described system can be readily adapted to new domains or new languages. In application, the system is reliable, fast, and processes completely automatically. It is shown that the text categorizer works successfully both on text generated by document image analysis - DIA and on ground truth data.

研究の動機と目的

• 最小限の手動介入を要する汎用的なテキスト分類システムの開発を目的とする。
• 代表的コーパスから統計的および言語学的知識を用いて自動的に関連する特徴を学習することで、テキスト分類における特徴抽出の課題に取り組む。
• 分類に必要な情報を保持しつつ、特徴ベクトルの次元を削減する。
• 統計的テキスト分類に適した効率的かつ効果的な分類手法の設計を目的とする。
• 文書画像分析（DIA）出力および真値データの両方でシステムを評価し、実世界の応用における強靭性と信頼性を示す。

提案手法

• 特徴抽出は、コーパスからの統計的情報と一般的な言語学的知識を用いて実際の語形を短縮することで実施され、自動的特徴学習が可能となる。
• 特徴空間の最も情報量の多い成分を保持する線形変換により次元削減が達成される。
• 多項式モデルに基づく最小二乗法を用いた分類が実施され、強固で効率的な分類メカニズムが提供される。
• システムは代表的コーパスで学習されるため、新たなドメインや言語に適応する際に、大規模な再設定を必要としない。
• 特徴抽出、次元削減、分類の全パイプラインが完全に自動化されており、人的介入を最小限に抑える。
• この手法は言語に依存しないように設計されており、言語固有の規則ではなく統計的パターンに依存するため、多言語への適用が可能となる。

実験結果

リサーチクエスチョン

• RQ1 テキスト分類において、特徴抽出をドメインおよび言語に依存させずに実現する方法は何か？
• RQ2 代表的コーパスから統計的および言語学的技術を用いて、関連する特徴を自動的に学習するにはどのような手法が有効か？
• RQ3 線形次元削減は、計算コストを削減しつつも、分類の正確性を維持するのに十分な情報を保持できるか？
• RQ4 多項式ベースの最小二乗分類器は、ドメインおよび言語に依存しない環境でどれほど有効か？
• RQ5 本システムは、DIA出力テキストおよび手動で整備された真値データの両方で信頼性の高い性能を達成できるか？

主な発見

• システムはDIA出力および真値データの両方からのテキスト分類に成功し、データソースを問わず強靭性を示した。
• 特徴抽出プロセスは、ドメイン固有のチューニングを要せず、統計的情報と一般的な言語学的知識のみで関連する特徴を効果的に学習した。
• 線形次元削減ステップにより、特徴ベクトルのサイズが顕著に削減されつつも分類精度が維持された。
• 多項式ベースの最小二乗分類器は、自動テキスト分類に適した信頼性が高く、効率的な分類メカニズムを提供した。
• システムは完全に自動化されており、新たなドメインや言語に適応可能であり、導入にあたっての再設計を必要としなかった。
• 本アプローチは高い信頼性と高速性を達成しており、リアルタイムまたは大規模なテキスト分類タスクに適している。