[論文レビュー] Learning Algorithms for Keyphrase Extraction

Peter D. Turney|ArXiv.org|Dec 10, 2002

Advanced Text Analysis Techniques参考文献 38被引用数 112

ひとこと要約

本稿では、機械学習アルゴリズムを用いて学術的テキストからキーフレーズを自動で抽出するための教師あり学習アプローチを提案する。C4.5意思決定木と、ドメイン固有の手順的知識を組み込んだ独自のアルゴリズムであるGenExを評価した結果、GenExは顕著に優れたキーフレーズ抽出性能を示し、人間の評価者による評価で生成されたキーフレーズの80％が受け入れ可能とされた。

ABSTRACT

Many academic journals ask their authors to provide a list of about five to fifteen keywords, to appear on the first page of each article. Since these key words are often phrases of two or more words, we prefer to call them keyphrases. There is a wide variety of tasks for which keyphrases are useful, as we discuss in this paper. We approach the problem of automatically extracting keyphrases from text as a supervised learning task. We treat a document as a set of phrases, which the learning algorithm must learn to classify as positive or negative examples of keyphrases. Our first set of experiments applies the C4.5 decision tree induction algorithm to this learning task. We evaluate the performance of nine different configurations of C4.5. The second set of experiments applies the GenEx algorithm to the task. We developed the GenEx algorithm specifically for automatically extracting keyphrases from text. The experimental results support the claim that a custom-designed algorithm (GenEx), incorporating specialized procedural domain knowledge, can generate better keyphrases than a generalpurpose algorithm (C4.5). Subjective human evaluation of the keyphrases generated by Extractor suggests that about 80% of the keyphrases are acceptable to human readers. This level of performance should be satisfactory for a wide variety of applications.

研究の動機と目的

• 学術的テキストから意味的で多語種のキーフレーズを自動で抽出する課題に対処すること。
• 汎用的な機械学習アルゴリズムが、キーフレーズ抽出においてカスタム設計されたアルゴリズムと同等またはそれを上回る性能を示せるかどうかを評価すること。
• キーフレーズの特徴に関する手順的知識を統合したドメイン特化型アルゴリズム（GenEx）の開発とテストを行うこと。
• 人間による評価を通じてキーフレーズ抽出システムの性能を評価し、情報検索やインデキシングにおける実用的応用を目的とすること。
• C4.5とGenExの両者が文書テキストから高品質なキーフレーズを特定する効果性を比較すること。

提案手法

• キーフレーズ抽出を二値分類タスクとして扱い、文書内の各フレーズをポジティブ（キーフレーズ）またはネガティブ（非キーフレーズ）の例として分類する。
• 文法的および語彙的パターンを用いて文書から候補フレーズを抽出し、各フレーズの特徴セットを構築する。
• C4.5意思決定木の誘導を用いて、9種類の異なる設定でラベル付き学習データから分類ルールを学習する。
• GenExは、頻度、位置、文法的構造などのキーフレーズ形成に関する手順的知識を統合した特殊なアルゴリズムとして開発された。
• アルゴリズムはヒューリスティックルールと学習の組み合わせを用い、言語的および統計的ヒントに基づいてキーフレーズである可能性の高いフレーズを優先順位付けする。
• 性能は、実用的有用性を重視して、抽出されたキーフレーズの受け入れ可能性に関する人間の判断を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 教師あり学習アプローチを用いて、機械学習アルゴリズムを用いて学術的テキストからキーフレーズを効果的に抽出できるか？
• RQ2 C4.5のような汎用的アルゴリズムのキーフレーズ抽出性能は、GenExのようなカスタム設計されたアルゴリズムと比べてどうか？
• RQ3 ドメイン固有の手順的知識を組み込むことで、キーフレーズ抽出の品質はどの程度向上するか？
• RQ4 自動抽出されたキーフレーズの何パーセントが人間の読者によって受け入れ可能と判断されるか？
• RQ5 学習ベースのシステムは、情報検索やインデキシングにおける実用的応用に適した性能に達することができるか？

主な発見

• GenExは、C4.5意思決定木アルゴリズムの9つの設定すべてをキーフレーズ抽出精度で上回った。
• 人間による評価では、GenExシステムが生成したキーフレーズの約80％が人間の評価者によって受け入れ可能とされた。
• ドメイン固有の手順的知識を統合したカスタム設計のGenExアルゴリズムは、汎用的なC4.5アルゴリズムよりも高品質なキーフレーズを生成した。
• 結果から、言語的および統計的ヒューリスティクスを内蔵した特化型アルゴリズムは、キーフレーズ抽出性能を顕著に向上させられると示された。
• 本研究では、人間がアノテートした学習データを用いた教師あり学習が、実世界の応用に向けた信頼性の高いかつ実用的なキーフレーズ抽出を可能にすることを示した。
• 達成された性能水準（80％の受け入れ率）は、情報検索やインデキシングの幅広いタスクにおいて満足できる水準であると判断された。