[論文レビュー] Keyphrase Extraction with Span-based Feature Representations

Funan Mu, Zhenting Yu+8 more|arXiv (Cornell University)|Feb 13, 2020

Advanced Text Analysis Techniques参考文献 29被引用数 13

ひとこと要約

本稿では、重複する語句を効果的に処理し、それらの文脈的相互作用を活用する、スパンベースの特徴表現を用いた二段階アプローチであるスパンキーフレーズ抽出（SKE）モデルを提案する。BERT や RNN を用いてスパンレベルの表現を生成し、双方向LSTMを用いて語句間の相互作用をモデル化することで、ベンチマークデータセット上で最先端の性能を達成し、F1スコアおよび重複キーフレーズ検出において既存手法を上回った。

ABSTRACT

Keyphrases are capable of providing semantic metadata characterizing documents and producing an overview of the content of a document. Since keyphrase extraction is able to facilitate the management, categorization, and retrieval of information, it has received much attention in recent years. There are three approaches to address keyphrase extraction: (i) traditional two-step ranking method, (ii) sequence labeling and (iii) generation using neural networks. Two-step ranking approach is based on feature engineering, which is labor intensive and domain dependent. Sequence labeling is not able to tackle overlapping phrases. Generation methods (i.e., Sequence-to-sequence neural network models) overcome those shortcomings, so they have been widely studied and gain state-of-the-art performance. However, generation methods can not utilize context information effectively. In this paper, we propose a novelty Span Keyphrase Extraction model that extracts span-based feature representation of keyphrase directly from all the content tokens. In this way, our model obtains representation for each keyphrase and further learns to capture the interaction between keyphrases in one document to get better ranking results. In addition, with the help of tokens, our model is able to extract overlapped keyphrases. Experimental results on the benchmark datasets show that our proposed model outperforms the existing methods by a large margin.

研究の動機と目的

• 既存のキーフレーズ抽出手法の限界、特に重複キーフレーズの処理が困難であることや文脈的情報を効果的に活用できないことに対処すること。
• 全文の文脈内でのスパンベース表現をモデル化することで、キーフレーズ間の相互作用を捉える手法を開発すること。
• 個々のトークンではなく語の系列から得られる高レベルの意味的表現を活用することで、キーフレーズのランク付け性能を向上させること。
• 手作業による特徴工学の必要性を排除し、重複および意味的に異なるキーフレーズをエンドツーエンドで抽出できるようにすること。

提案手法

• キーフレーズ候補は品詞パターンに基づくスパン検出を用い、各語句はその開始および終了トークンの位置によって表現される。
• スパンベースの表現はBERTまたはRNNを用いて生成され、全文の文脈的・意味的情報がエンコードされる。
• 双方向LSTMまたはGRUを用いてスパン表現間の相互作用をモデル化し、より高レベルの語句関係を捉える。
• 最終段階の分類ヘッドは、学習された語句表現に基づき候補語句をランク付けし、効果的なキーフレーズ選択を可能にする。
• 各スパンを独立して処理することで、系列ラベル付けの制約を回避し、重複キーフレーズの処理を可能にする。
• 候補生成段階を変更することで、命名エンティティ認識などの他のNLPタスクにも適応可能である。

実験結果

リサーチクエスチョン

• RQ1 スパンベースの表現アプローチは、ドキュメント内の重複キーフレーズ間の意味的相互作用を効果的に捉えることができるか？
• RQ2 双方向RNNを用いて語句レベルの表現をモデル化することで、トークンレベル生成モデルと比較してキーフレーズランク付け性能が向上するか？
• RQ3 このモデルは、系列ラベル付け手法が抽出しにくい重複キーフレーズをどの程度効果的に検出できるか？
• RQ4 生成ベースおよび二段階ランク付けモデルの最先端手法と比較して、ベンチマークデータセットにおけるF1スコアおよび頑健性の面で、本手法はどの程度優れているか？

主な発見

• SKE-Large-CLSモデルは4つのベンチマークデータセットで最先端の性能を達成し、CopyRNN や CorrRNN といった強力なベースラインを上回った。
• KP20Kデータセットでは、SKE-RNN-ClsはF1@5で1.8%、F1@10で12.9%の向上を達成し、CopyRNNを上回った。
• NUSおよびSemEvalデータセットでは、それぞれ69.70%および73.77%の重複キーフレーズを効果的に抽出し、重複語句処理における優れた能力を示した。
• SKEモデルは、BERT-Largeを用いた文対分類ベースラインと比較して、学習が66倍速く、著しく学習効率が向上した。
• 事例研究では、SKE-Large-CLSはCorrRNNよりも2つの追加キーフレーズを特定し、'audio conferencing' と 'audio service' を別個の有効なキーフレーズとして適切にランク付けした。
• モデルは語句の意味的意味を全体として効果的に捉えており、生成モデルが 'real time services' と 'real time' のように重複する接頭語を生成する問題を回避した。