[論文レビュー] On the Automated Classification of Web Sites

John M. Pierre|ArXiv.org|Feb 1, 2001

Web Data Mining and Analysis参考文献 13被引用数 77

ひとこと要約

本稿では、構造化メタデータと知能的なスパイダー走破を用いた標的型で自動化されたウェブサイト分類システムを提案する。分類精度の向上に寄与する業界分類への割り当てを実証する。HTMLのメタタグが分類性能を最も高めることが示され、セマンティックウェブにおけるスケーラブルでドメイン特化型のメタデータ生成を可能にする。

ABSTRACT

In this paper we discuss several issues related to automated text classification of web sites. We analyze the nature of web content and metadata in relation to requirements for text features. We find that HTML metatags are a good source of text features, but are not in wide use despite their role in search engine rankings. We present an approach for targeted spidering including metadata extraction and opportunistic crawling of specific semantic hyperlinks. We describe a system for automatically classifying web sites into industry categories and present performance results based on different combinations of text features and training data. This system can serve as the basis for a generalized framework for automated metadata creation.

研究の動機と目的

• 膨大で急速に増加するウェブコンテンツを整理するという課題に、自動分類によって対処すること。
• 広くメタデータが使われていない状況下でも、正確なウェブサイト分類に有効なテキスト特徴量を特定すること。
• 標的型クローリングとトレーニング可能な分類手法を用いて、スケーラブルでドメイン特化型の自動メタデータ生成フレームワークを開発すること。
• 特にメタタグを含むさまざまなテキスト特徴量が分類精度に与える影響を評価すること。
• セマンティックウェブを支援する一般化可能で自動化されたメタデータ作成システムの基盤を築くこと。

提案手法

• 判別力の高いコンテンツを優先する標的型スパイダー走破を用い、メタデータおよび意味的に関連するハイパーリンクを抽出する。
• 抽出された特徴量に基づいて、事前に定義された業界カテゴリにウェブサイトを分類するトレーニング可能なテキスト分類エンジンを活用する。
• 高い関連性と正確性を示すため、メタタグを主な特徴量として優先し、必要に応じて本体テキストに降格する。
• 複数段階の分類パイプラインを実装する：特徴抽出 → ドメイン特化データによる学習 → 性能評価を伴う分類。
• 既存のドメイン知識を活用して特徴選択を支援し、分類の頑健性を向上させる。
• 将来のセマンティックウェブ標準および非テキストコンテンツとの統合をサポートする拡張性を備えたシステムを設計する。

実験結果

リサーチクエスチョン

• RQ1 メタタグ、タイトルタグ、本体テキストなどのさまざまなテキスト特徴量は、自動ウェブサイト分類においてどの程度有効であるか？
• RQ2 構造化メタデータを用いることで、非構造化テキストに比べて分類精度がどの程度向上するか？
• RQ3 標的型スパイダー走破戦略は、特徴抽出の効率性および分類性能を向上させることができるか？
• RQ4 トレーニングデータの品質およびドメイン特化度が分類結果に与える影響はいかほどか？
• RQ5 自動分類システムは、スケーラブルで多面的メタデータ作成を支援するために、どのように一般化できるか？

主な発見

• HTMLのメタタグは、本体テキストよりも著しく高い正確性を示し、自動分類のための最高品質のテキスト特徴量を提供する。
• 効果的であるにもかかわらず、実際の現場ではメタタグが広く使われていないため、メタデータ駆動型のウェブ組織化においてボトルネックが生じている。
• メタデータ抽出を優先し、意味的ハイパーリンクに従う標的型スパイダー走破により、特徴取得の効率性が向上する。
• ドメイン特化データで学習させた場合、本システムは高い分類正確性を達成しており、標的型トレーニングデータセットの価値を示している。
• 本アプローチは、セマンティックウェブを支援する一般化可能で自動化されたメタデータ作成システムの実現に向けた実用的基盤を形成する。
• 結果から、自動分類は、スケーラブルで正確かつ拡張可能なウェブ上のメタデータ生成を実現する重要なエンablerである可能性がある。