[論文レビュー] Keyphrase Extraction using Sequential Labeling

Sujatha Das Gollapalli, Xiaoli Li|arXiv (Cornell University)|Aug 1, 2016

Advanced Text Analysis Techniques参考文献 21被引用数 11

ひとこと要約

本稿では、キーフレーズ抽出を段階的ラベル付け問題として再定式化し、文書内の各トークンにKP（キーフレーズ）またはO（その他）のラベルを割り当てる手法を提案する。単純な特徴量（品詞タグ、構文解析木、非教師ありモデルの予測結果など）を用いることで、最先端のフレーズレベルモデルを上回る性能を達成し、制限的な品詞フィルタリングを施さないため、長さが可変なキーフレーズを自然に処理できる。ベンチマークデータセットにおいて顕著なF1スコアの向上が得られた。

ABSTRACT

Keyphrases efficiently summarize a document's content and are used in various document processing and retrieval tasks. Several unsupervised techniques and classifiers exist for extracting keyphrases from text documents. Most of these methods operate at a phrase-level and rely on part-of-speech (POS) filters for candidate phrase generation. In addition, they do not directly handle keyphrases of varying lengths. We overcome these modeling shortcomings by addressing keyphrase extraction as a sequential labeling task in this paper. We explore a basic set of features commonly used in NLP tasks as well as predictions from various unsupervised methods to train our taggers. In addition to a more natural modeling for the keyphrase extraction problem, we show that tagging models yield significant performance benefits over existing state-of-the-art extraction methods.

研究の動機と目的

• 固定n-gramフィルタリングや品詞ベースの候補生成に依存する従来のキーフレーズ抽出手法の限界を解消すること。
• フレーズレベルモデルが自然に可変長キーフレーズを処理できないという問題を克服すること。
• 単純で汎用性の高い特徴量（例：品詞、構文解析木、綴り）と非教師ありモデルの予測結果を組み合わせた段階的ラベル付けアプローチが、キーフレーズ抽出の性能向上に寄与するかを検証すること。
• 提案されたタガーモデルが異なるドキュメントコレクション間でどれほど転送可能かを評価すること。

提案手法

• キーフレーズ抽出タスクを、各トークンにKP（キーフレーズ語）またはO（非キーフレーズ語）のラベルを割り当てる段階的ラベル付け問題に再定式化する。
• 条件付きランダムフィールド（CRF）モデルを、語の同一性、綴り関連特徴（例：大文字化）、構文解析木情報といった基本的な特徴量を用いて学習する。
• 複数の非教師ありキーフレーズ抽出手法の予測結果を追加特徴量として用い、タガーモデルの入力に豊かさを加える。
• モデルはWWWおよびKDDの2つのベンチマークデータセット上で学習・評価され、汎化性能を評価するためのドメイン間転送実験が実施された。
• 品詞タグに基づく事前除外処理を実施しないため、長めで多様なキーフレーズが自然に考慮可能となる。
• 最終的なキーフレーズは、予測シーケンス内でKPラベルが連続する最大のスパンとして抽出される。

実験結果

リサーチクエスチョン

• RQ1 段階的ラベル付けアプローチは、F1スコアとキーフレーズ長の変動に対するロバストネスの面で、従来のフレーズレベルキーフレーズ抽出手法を上回ることができるか？
• RQ2 品詞、構文解析木、綴りといった単純で汎用的な特徴量に加え、非教師ありモデルの予測結果を統合することで、複雑なタスク固有の特徴量を用いるよりも優れた性能が得られるか？
• RQ3 WWWデータセットで学習したタガーモデルがKDDデータセットにどれほど一般化できるか（ドキュメントタイプ間での転送性を示すか）？
• RQ4 品詞ベースのフィルタリングを排除することで、従来の名詞＋形容詞のパターンに従わない有効なキーフレーズのリコールがどの程度向上するか？

主な発見

• 提案されたCRFベースのタガーモデルは、WWWデータセットでF1スコア0.2012、KDDデータセットでF1スコア0.1583を達成し、評価されたすべての非教師あり手法を顕著に上回った。
• モデルは長さが異なるキーフレーズを効果的に捉えており、'software reliability growth model' や 'biased minimax probability machine' といった4語のフレーズでさえ、n-gramベースのシステムが見逃す傾向にあるが、本手法では正しく抽出できた。
• 非教師ありモデルの予測結果を追加特徴量として用いることで、性能向上が明確に観察され、複数の信号源を統合する価値が示された。
• WWWデータセットで学習したモデルはKDDデータセットに対しても妥当な一般化性能を示し、精度0.1956、F1スコア0.1583を達成した。これは、関連ドメイン間での強い転送性を示している。
• 制限的な品詞フィルタリング（例：名詞と形容詞のみを許容）を廃止することで、'Keyword extraction' のようなキーフレーズが本来除外されるのを防ぎ、回復させた。
• 結果から、語の同一性、綴り関連特徴、構文解析木構造からなる単純な特徴セットが、従来の最先端システムで用いられる複雑なドメイン特化特徴量を上回る性能を発揮することが示された。