[論文レビュー] Utilizing the World Wide Web as an Encyclopedia: Extracting Term Descriptions from Semi-Structured Texts

Atsushi Fujii, Tetsuya Ishikawa|ArXiv.org|Nov 2, 2000

Natural Language Processing Techniques参考文献 6被引用数 4

ひとこと要約

この論文では、言語的パターンとHTML構造を用いて、World Wide Webから技術用語の記述を自動で抽出・要約する手法を提案する。NLPベースの抽出とHTMLベースの抽出を統合し、フィルタリングに言語モデルを、要約には階層ベイジアンクラスタリングを適用することで、関連する記述を識別する精度が67.9%に達し、ユーザーは平均して2つの代表的記述で用語を理解できるようになる。

ABSTRACT

In this paper, we propose a method to extract descriptions of technical terms from Web pages in order to utilize the World Wide Web as an encyclopedia. We use linguistic patterns and HTML text structures to extract text fragments containing term descriptions. We also use a language model to discard extraneous descriptions, and a clustering method to summarize resultant descriptions. We show the effectiveness of our method by way of experiments.

研究の動機と目的

• 伝統的な百科事典は作成に費用がかかり、しばしば陳腐化しているという限界を克服するため、動的で膨大なコンテンツを有するWorld Wide Webを、用語記述のリアルタイムソースとして活用すること。
• 生のWebコンテンツに内在するノイズや重複を克服し、準構造的Webページから技術用語の正確で意味のある記述を自動で抽出すること。
• 複数の抽出された記述を、異なる視点や意味のニュアンス（語義）を表す明確なクラスタに要約することで、冗長性を低減し、使いやすさを向上させること。
• 言語的パターン、HTML構造、言語モデル、クラスタリングの組み合わせが、Webベースの百科事典構築の実用的でスケーラブルなフレームワークとして有効であるかを評価すること。

提案手法

• システムは、NLPベースの言語的パターンとHTMLベースの構造的ヒューリスティクスを用いて、Webページから用語記述を含む候補テキスト断片を特定する。
• 前処理により、HTMLタグ、余分な空白、メールアドレスなどの非言語的コンテンツといった関係のない要素を除去し、入力を標準化する。
• 3-gramベースの言語モデルを用いて、非言語的またはノイズの多い断片をフィルタリングし、言語としての妥当性（言語的妥当性）を測定することで、意味のある記述である可能性が高いものを残す。
• 1つの用語の抽出された記述を、HBC（階層ベイジアンクラスタリング）法を用いてクラスタリングし、類似した記述をグループ化し、代表的記述を特定する。
• バックグラウンドインデクシング（定期的更新）と動的オンデマンド抽出の両方をサポートしており、ユーザーがリアルタイムで記述にアクセスできる。
• 各クラスタから得られた代表的記述をユーザーに提示することで、異なる視点や語義をカバーしつつ、冗長性を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 HTML内の言語的パターンと構造的ヒューリスティクスを効果的に組み合わせることで、準構造的Webページから用語記述を抽出できるか？
• RQ2 言語モデルを用いることで、非言語的または関係のない断片をフィルタリングすることにより、記述抽出の精度がどの程度向上するか？
• RQ3 抽出された記述をクラスタリングすることで、類似した記述を効果的にグループ化し、異なる視点や語義を明確に表現できるか？
• RQ4 本システムは、技術用語の有用で理解可能な記述を抽出する際、全体としてどの程度の精度を達成できるか？

主な発見

• NLP/HTMLベースの手法は、初期抽出精度が63.5%に達し、Webコンテンツからのパターンベース抽出の実現可能性を示した。
• 3-gramベースの言語モデルを統合することで、精度が67.9%に向上し、ノイズの低減と抽出記述の質の向上が達成された。
• HBCクラスタリング法は記述の要約に成功しており、提示された代表的記述の66.7%が正しく、視点や語義ごとの適切なグループ化が行われたことが示された。
• 用語「korokeishon」（コロケーション）の多義性を正しく同定した。3つの代表的記述のうち2つが「語のコロケーション」を、1つが「機械の配置」を表しており、複数の意味への感受性が確認された。
• 平均して、用語を理解するには1つの用語あたり2つの記述で十分であることが、代表的記述の評価から確認された。
• 本手法は静的および動的検索の両方で有効であり、事前にインデックス化されたデータベースに依存せず、リアルタイムでの用語記述へのアクセスを可能にした。