[論文レビュー] Automatic Classification of Text Databases Through Query Probing

Panagiotis G. Ipeirotis, Luis Gravano+1 more|ArXiv.org|Jan 1, 2000

Information Retrieval and Search Behavior被引用数 3

ひとこと要約

本稿では、ルールベースのドキュメント分類器からプローブクエリを生成し、一致件数に基づいて分類することで、検索専用のテキストデータベースを自動的に分類する手法を提案する。本手法は文書の取得を伴わず、正確かつスケーラブルな分類を実現し、実験により結果の顕著な偏りが観察され、99.9%信頼水準で正しい分類が確認された。

ABSTRACT

Many text databases on the web are 'hidden' behind search interfaces, and their documents are only accessible through querying. Search engines typically ignore the contents of such search-only databases. Recently, Yahoo-like directories have started to manually organize these databases into categories that users can browse to find these valuable resources. We propose a novel strategy to automate the classification of search-only text databases. Our technique starts by training a rule-based document classifier, and then uses the classifier's rules to generate probing queries. The queries are sent to the text databases, which are then classified based on the number of matches that they produce for each query. We report some initial exploratory experiments that show that our approach is promising to automatically characterize the contents of text databases accessible on the web.

研究の動機と目的

• 検索インターフェースの背後にある、標準的なウェブクローラーがアクセスできないテキストデータベースの分類を自動化すること。
• 人為的なディレクトリ作成作業を回避し、人間が管理するディレクトリの代わりにスケーラブルな代替手段としてクエリプローブを活用すること。
• 文書の取得を伴わないで、クエリ一致件数に基づいてデータベースを分類する手法を開発すること。
• クエリプローブの有効性が、ウェブベースのテキストデータベースのトピック的焦点を正確に特定できるかを評価すること。
• 分類器のルール最適化を通じて階層的分類を実現し、クエリ効率を向上させること。

提案手法

• ラベル付きデータセットを用いてRIPPERを用いてルールベースのドキュメント分類器を学習し、トピック固有のルールを生成する。
• 各分類器ルールを、キーワードを抽出してブール型クエリに変換することで、クエリプローブに変換する。
• これらのクエリを対象となるテキストデータベースに送信し、各カテゴリごとの一致ドキュメント件数を記録する。
• 特定性（ターゲットカテゴリ内の一致割合）とカバレッジ（全カテゴリにわたる合計一致件数）に基づいてデータベースを分類する。
• カイ二乗検定を用いて、正しいカテゴリに向かう一致分布の偏りの統計的有意性を評価する。
• 非情報量の高い語（例：結果がゼロとなる語）を削除することでクエリ長を短縮し、効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 分類器ルールに基づくクエリプローブは、検索専用テキストデータベースのトピック的焦点を正確に特定できるか？
• RQ2 文書の取得を伴わない場合、一致件数分析はデータベース分類にどの程度効果的か？
• RQ3 カテゴリ間のクエリ一致分布の観察された偏りの統計的有意性は何か？
• RQ4 クエリ長およびルールの複雑さは、分類の効率性および正確性にどのように影響するか？
• RQ5 本手法は階層的分類にスケーリング可能であり、多様な検索インターフェースの機能に対応できるか？

主な発見

• 本手法は、Cora、American Scientist、AllOutdoors、ReligionTodayの4つのテストデータベースを、文書の取得を一切行わず、一致件数のみを用いて正しく分類に成功した。
• 特定性値が明確に、各データベースが意図したカテゴリに集中していることを示しており、Coraでは「コンピュータ」カテゴリで1450件の一致、一方「科学」カテゴリでは151件にとどまっていた。
• カイ二乗検定により、全データベースにおいて観察された一致分布の偏りが99.9%信頼水準で統計的に有意であることが確認された。
• より単純なルールセット（29ルール、32語）は、わずかに低い正確性であったものの、より複雑なセット（31ルール、92語）よりもクエリ効率が優れていた。
• 長すぎるクエリから、一致しない語を削除することで、クエリ長制限があるシステム（例：American Scientistデータベース）においてもパフォーマンスが向上した。
• 結果から、わずかに選択されたクエリのセットでも、文書の取得を伴わず、検索専用データベースの内容を効果的に特徴づけることができる。