[論文レビュー] Extraction of Keyphrases from Text: Evaluation of Four Algorithms

Peter D. Turney|ArXiv.org|Dec 8, 2002

Advanced Text Analysis Techniques参考文献 24被引用数 62

ひとこと要約

本論文は、手動で作成されたキーフレーズを基準として、5つのドキュメントコレクションを用いて4つのキーフレーズ抽出アルゴリズム—Microsoft Word 97のAutoSummarize、エリック・ブリルの品詞タガーに基づくアルゴリズム、Verity Search 97のSummarize機能、NRCのExtractor—を評価した。NRCのExtractorは、すべてのデータセットで他を上回り、人間がアノテートしたキーフレーズと一致する優れた正確性を示した。

ABSTRACT

This report presents an empirical evaluation of four algorithms for automatically extracting keywords and keyphrases from documents. The four algorithms are compared using five different collections of documents. For each document, we have a target set of keyphrases, which were generated by hand. The target keyphrases were generated for human readers; they were not tailored for any of the four keyphrase extraction algorithms. Each of the algorithms was evaluated by the degree to which the algorithm's keyphrases matched the manually generated keyphrases. The four algorithms were (1) the AutoSummarize feature in Microsoft's Word 97, (2) an algorithm based on Eric Brill's part-of-speech tagger, (3) the Summarize feature in Verity's Search 97, and (4) NRC's Extractor algorithm. For all five document collections, NRC's Extractor yields the best match with the manually generated keyphrases.

研究の動機と目的

• 人間が生成したキーフレーズと一致するように、4つの自動キーフレーズ抽出アルゴリズムの性能を評価すること。
• 特定のアルゴリズムに合わせたチューニングなしに、多様なドキュメントコレクションにおけるアルゴリズムの頑健性を評価すること。
• 実証的比較に基づいて、最も効果的なキーフレーズ抽出手法を同定すること。
• 手動でキュレートされたキーフレーズを基準として、キーフレーズ抽出のベンチマークを提供すること。
• 既存のアプローチの長所と短所を特定することで、将来の自動キーフレーズ抽出システムの開発を支援すること。

提案手法

• 異なるドメインやテキストタイプを反映する5つの異なるドキュメントコレクションを収集した。
• 各ドキュメントに対して、人間の読者によって独立して作成された手動キーフレーズを基準として使用した。
• 4つのキーフレーズ抽出アルゴリズムを適用した：Microsoft Word 97のAutoSummarize、ブリルの品詞タガーに基づく手法、Verity Search 97のSummarize、NRCのExtractor。
• 手動で生成されたキーフレーズ集合との照合状況を評価するため、精度と再現率を測定した。
• 標準的な評価指標を用いて、アルゴリズムの出力と人間がアノテートしたキーフレーズとの一致率を比較した。
• 各アルゴリズムの性能の一貫性と一般化能力を評価するため、コレクション間での分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 4つのキーフレーズ抽出アルゴリズムは、多様なドキュメントコレクションにおいて、手動で生成されたキーフレーズとどれほど一致するか？
• RQ2 どのアルゴリズムが、関連するキーフレーズを特定する際に最も高い精度と再現率を示すか？
• RQ3 どのアルゴリズムの性能も、異なるテキストドメインやドキュメントタイプによって顕著に変動するか？
• RQ4 人間がアノテートしたキーフレーズは、自動キーフレーズ抽出の評価に信頼できるベンチマークとして機能するか？
• RQ5 言語的タギング（例：品詞タギング）に基づくアルゴリズムは、単純なヒューリスティクスや商業的ツールを上回る性能を示せるか？

主な発見

• NRCのExtractorは、5つのドキュメントコレクションすべてで、手動で生成されたキーフレーズとの一致率が最も高かった。
• Microsoft Word 97のAutoSummarizeは、他の3つのアルゴリズムより著しく劣り、常に低い順位に位置した。
• エリック・ブリルの品詞タガーに基づくアルゴリズムは中程度の性能を示し、Word 97よりは優れていたが、NRCのExtractorに及ばなかった。
• Verity Search 97のSummarize機能は、Word 97よりは優れていたが、NRCのExtractorおよびブリルベースの手法に劣った。
• 性能順位は、5つのドキュメントコレクションすべてで一貫しており、評価の頑健性が裏付けられた。
• NRCのExtractorは、意味的に関連性が高く、人間が認識するキーフレーズを効果的に特定する能力に優れており、言語的および統計的特徴の有効な活用が示された。