[論文レビュー] Learning to Extract Keyphrases from Text

Peter D. Turney|ArXiv.org|Dec 8, 2002

Advanced Text Analysis Techniques参考文献 28被引用数 280

ひとこと要約

本稿では、一般向けの学習アルゴリズム（C4.5）や商用ツール（Word 97、Search 97）よりも、キーフレーズ抽出タスクで優れた性能を示す、GenExと呼ばれる特殊なアルゴリズムを用いた教師あり学習アプローチを提案している。研究では、キーフレーズ抽出に特化した学習ベースの手法が、非学習的手法や市販の代替ソリューションよりも顕著に精度を向上させることを示している。

ABSTRACT

Many academic journals ask their authors to provide a list of about five to fifteen key words, to appear on the first page of each article. Since these key words are often phrases of two or more words, we prefer to call them keyphrases. There is a surprisingly wide variety of tasks for which keyphrases are useful, as we discuss in this paper. Recent commercial software, such as Microsoft's Word 97 and Verity's Search 97, includes algorithms that automatically extract keyphrases from documents. In this paper, we approach the problem of automatically extracting keyphrases from text as a supervised learning task. We treat a document as a set of phrases, which the learning algorithm must learn to classify as positive or negative examples of keyphrases. Our first set of experiments applies the C4.5 decision tree induction algorithm to this learning task. The second set of experiments applies the GenEx algorithm to the task. We developed the GenEx algorithm specifically for this task. The third set of experiments examines the performance of GenEx on the task of metadata generation, relative to the performance of Microsoft's Word 97. The fourth and final set of experiments investigates the performance of GenEx on the task of highlighting, relative to Verity's Search 97. The experimental results support the claim that a specialized learning algorithm (GenEx) can generate better keyphrases than a general-purpose learning algorithm (C4.5) and the non-learning algorithms that are used in commercial software (Word 97 and Search 97).

研究の動機と目的

• 学術的および商業的文書に対して正確なキーフレーズを自動生成する課題に対処すること。
• ヒューリスティック的手法や非学習的手法を超えて、教師あり機械学習がキーフレーズ抽出を改善できるかどうかを調査すること。
• キーフレーズ抽出に特化して設計されたカスタムアルゴリズム（GenEx）の有効性を評価すること。
• Microsoft Word 97 や Verity Search 97 といった既存ツールと比較して、GenExの性能をメタデータ生成および強調タスクにおいて評価すること。
• ドメイン特化型の学習アルゴリズムが、汎用的または商用の代替手段よりも優れた結果をもたらすことを実証すること。

提案手法

• ドキュメントが候補フレーズに解析され、その後、教師あり学習を用いてキーフレーズ（ポジティブ）または非キーフレーズ（ネガティブ）に分類される。
• 性能評価のベースラインとして、キーフレーズ分類タスクにC4.5意思決定木アルゴリズムが適用される。
• GenExアルゴリズムは、キーフレーズ抽出に特化して設計されており、フレーズの関連性や情報量に特化した特徴を組み込んでいる。
• 特徴工学には、語彙的、構文的、分布統計的特徴が含まれ、キーフレーズと非キーフレーズを区別する。
• 分類境界を学習するため、手動でラベル付けされたキーフレーズのトレーニングデータセットが使用される。
• 情報検索分野の標準指標、すなわち正確率（precision）、再現率（recall）、F-measure を用いて性能が評価される。

実験結果

リサーチクエスチョン

• RQ1 非学習的商用ツールと比較して、教師あり学習アプローチがキーフレーズ抽出の正確性を顕著に向上させられるか？
• RQ2 キーフレーズ抽出に特化した学習アルゴリズム（GenEx）が、汎用的学習アルゴリズム（C4.5）を上回る性能を示せるか？
• RQ3 GenExは、メタデータ生成やドキュメント強調といった実世界の応用において、どのように性能を発揮するか？
• RQ4 あるドキュメントにおいて、フレーズがキーフレーズであると予測するのに最も予測力のある特徴は何か？
• RQ5 学習ベースの手法は、キーフレーズの割り当てにおける人的作業をどの程度削減できるか？

主な発見

• GenExは、C4.5意思決定木アルゴリズムを上回り、アルゴリズムの特化による利点を示した。
• メタデータ生成タスクにおいて、GenExはMicrosoft Word 97よりも高い正確率と再現率を達成した。
• 強調タスクにおいて、GenExはVerityのSearch 97を上回り、キーフレーズの関連性検出が優れていることを示した。
• GenExにおけるドメイン特化型特徴の使用は、汎用的特徴セットと比較して分類精度を顕著に向上させた。
• 結果から、学習ベースのシステムが非学習的商用ソフトウェアを上回ることを確認した。
• 本研究は、キーフレーズ抽出に特化したアルゴリズム設計が、測定可能な性能向上をもたらすことを確立した。