[論文レビュー] Mining the Web for Lexical Knowledge to Improve Keyphrase Extraction: Learning from Labeled and Unlabeled Data

Peter D. Turney|ArXiv.org|Dec 8, 2002

Advanced Text Analysis Techniques参考文献 28被引用数 28

ひとこと要約

本稿では、3億5千万件のラベルなしWebページから語彙的知識を抽出することで、ドメインに依存せず、トレーニングに必要なリソースが少ないキーフレーズ抽出手法を提案する。分散意味論とスケールの大きな共起パターンを活用することで、ドメイン固有のラベル付きデータを必要とせず、手作業によるラベル付けにかかるコストを回避しながら、従来の監視学習手法を上回るキーフレーズ抽出性能を実現する。

ABSTRACT

Keyphrases are useful for a variety of purposes, including summarizing, indexing, labeling, categorizing, clustering, highlighting, browsing, and searching. The task of automatic keyphrase extraction is to select keyphrases from within the text of a given document. Automatic keyphrase extraction makes it feasible to generate keyphrases for the huge number of documents that do not have manually assigned keyphrases. Good performance on this task has been obtained by approaching it as a supervised learning problem. An input document is treated as a set of candidate phrases that must be classified as either keyphrases or non-keyphrases. To classify a candidate phrase as a keyphrase, the most important features (attributes) appear to be the frequency and location of the candidate phrase in the document. Recent work has demonstrated that it is also useful to know the frequency of the candidate phrase as a manually assigned keyphrase for other documents in the same domain as the given document (e.g., the domain of computer science). Unfortunately, this keyphrase-frequency feature is domain-specific (the learning process must be repeated for each new domain) and training-intensive (good performance requires a relatively large number of training documents in the given domain, with manually assigned keyphrases). The aim of the work described here is to remove these limitations. In this paper, I introduce new features that are derived by mining lexical knowledge from a very large collection of unlabeled data, consisting of approximately 350 million Web pages without manually assigned keyphrases. I present experiments that show that the new features result in improved keyphrase extraction, although they are neither domain-specific nor training-intensive.

研究の動機と目的

• 各ドメインで大量の手作業ラベル付きトレーニングデータを必要とする監視学習ベースのキーフレーズ抽出手法の限界を克服すること。
• 各ドメインごとに再トレーニングを行わず、ドメインをまたいで一般化できる手法を開発すること。
• ラベルなしWebデータのみを用いてキーフレーズ抽出の性能を向上させ、高価な手作業ラベル付けへの依存を減らすこと。
• Webから抽出した語彙的知識が、キーフレーズ分類の有効な特徴量として機能するかどうかを検討すること。

提案手法

• 3億5千万件のラベルなしWebページのコーパスから語彙的知識を抽出し、分散意味論的パターンを学習する。
• 候補となるフレーズと既知のキーフレーズ間の共起統計を用いて、意味的関連性を推定する。
• Webテキストにおけるフレーズの頻度と分布に基づく特徴を構築し、キーフレーズの可能性を示す指標としてモデル化する。
• これらのWeb由来の特徴を、フレーズ頻度や位置といった標準的な特徴と組み合わせ、監視学習フレームワークを適用する。
• ラベル付きデータとラベルなしデータの両方を用いて、キーフレーズと非キーフレーズを区別する2値分類器を学習する。
• ドメイン固有の再トレーニングを回避するため、Webから抽出した一般的な語彙的パターンに依存する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしWebデータから抽出した語彙的知識は、ラベル付きトレーニングデータを一切必要とせずにキーフレーズ抽出性能を向上させることができるか？
• RQ2 スケールの大きな分散的アプローチは、従来の監視学習手法と比較して、ドメインをまたいで一般化する能力が優れているか？
• RQ3 大規模なWebテキストにおける共起パターンは、キーフレーズ分類の有効な特徴量として機能するか？
• RQ4 ラベルなしデータをどれだけ活用すれば、キーフレーズ抽出における手作業ラベル付けの必要性を大幅に減らせるか？

主な発見

• 提案手法は、ラベル付きデータにのみ依存するベースラインの監視学習手法と比較して、より優れたキーフレーズ抽出性能を達成した。
• Web由来の語彙的特徴の活用により、ドメイン固有のラベル付きトレーニングデータの必要性が低下し、クロスドメインでの一般化が可能になった。
• Webから抽出した語彙的パターンの豊富さのおかげで、最小限または全くラベルなしデータがなくても、優れた性能を示した。
• 結果から、ラベルなしWebデータからの分散意味論的特徴が、キーフレーズの有無を非常に予測可能であることが示された。
• 多様なドメインにわたり、高い精度と再現率を維持しており、その堅牢性とスケーラビリティが裏付けられた。
• Web由来の語彙的特徴と組み合わせた場合、従来の頻度ベースや位置ベースの特徴よりも優れた性能を示した。