[論文レビュー] Simple Unsupervised Keyphrase Extraction using Sentence Embeddings

Kamil Bennani-Smires, Claudiu Musat+3 more|arXiv (Cornell University)|Jan 13, 2018

Advanced Text Analysis Techniques被引用数 4

ひとこと要約

本稿では、文書のコロケーションを用い、コーパスを必要とせずに1つのドキュメントから情報的で多様なキーフレーズを抽出する教師なしキーフレーズ抽出手法であるEmbedRankを提案する。標準データセットにおいて、最先端のグラフベース手法を上回り、ユーザースタディを通じて、Fスコアに変化がなくても多様性を強化したキーフレーズが人間の好みに合うことが示された。

ABSTRACT

Keyphrase extraction is the task of automatically selecting a small set of phrases that best describe a given free text document. Supervised keyphrase extraction requires large amounts of labeled training data and generalizes very poorly outside the domain of the training data. At the same time, unsupervised systems have poor accuracy, and often do not generalize well, as they require the input document to belong to a larger corpus also given as input. Addressing these drawbacks, in this paper, we tackle keyphrase extraction from single documents with EmbedRank: a novel unsupervised method, that leverages sentence embeddings. EmbedRank achieves higher F-scores than graph-based state of the art systems on standard datasets and is suitable for real-time processing of large amounts of Web data. With EmbedRank, we also explicitly increase coverage and diversity among the selected keyphrases by introducing an embedding-based maximal marginal relevance (MMR) for new phrases. A user study including over 200 votes showed that, although reducing the phrases' semantic overlap leads to no gains in F-score, our high diversity selection is preferred by humans.

研究の動機と目的

• 大規模なラベル付きデータセットを必要とする教師ありキーフレーズ抽出の限界を解消し、ドメイン間での一般化性を高めること。
• 大規模コーパスに依存するか、冗長性と低多様性に苦しむ既存の教師なし手法の欠点を克服すること。
• リアルタイム処理に適した、高速でスケーラブルかつコーパスに依存しない方法を構築すること。
• Fスコアに悪影響を与えることなくキーフレーズの多様性とユーザーライクを向上させることで、Fスコアが唯一の評価指標として十分かどうかに疑問を呈すること。

提案手法

• 事前学習済みの文書埋め込み（例：Sent2Vec, Doc2Vec）を用い、ドキュメント全体と候補キーフレーズを共通のベクトル空間に表現する。
• 候補キーフレーズの埋め込みとドキュメントの埋め込みとの間の意味的距離を測ることで、情報性を測定する。
• 埋め込みに基づく最大マージナルリレバンス（MMR）戦略を適用し、キーフレーズ選択時に情報性と多様性のバランスを取る。
• λ=0.5としてパrameter化されたMMR定式化を用い、重複を制御し、すでに選択されたものと意味的に異なるフレーズを優先する。
• 単語のスコアを重み付き和による単語埋め込みの集約によりフレーズスコアに変換し、個々の単語の中心性による過剰生成を回避する。
• 外部コーパスを必要とせず、入力ドキュメントのみで動作するシンプルでスケーラブルなパイプラインとして実装する。

実験結果

リサーチクエスチョン

• RQ1 教師なしキーフレーズ抽出手法が、大規模な学習コーパスに依存せずに、既存のグラフベースの最先端手法を上回るFスコアを達成できるか。
• RQ2 埋め込みに基づくMMRを用いて冗長性を明示的に制御することで、Fスコアが変化してもキーフレーズのユーザーライクが向上するか。
• RQ3 単語レベルの埋め込みではなくフレーズレベルの埋め込みを用いることで、キーフレーズの質と多様性はどの程度向上するか。
• RQ4 文書埋め込みに基づくコーパスフリー手法は、ウェブ規模のテキストデータのリアルタイム処理に高速かつ効果的か。
• RQ5 人間の好みが多様で重複のない出力を好む場合、Fスコアはキーフレーズ品質の評価に十分かつ信頼できる指標か。

主な発見

• EmbedRankは、3つの標準キーフレーズ抽出データセットのうち2つにおいて、最先端のグラフベース手法（例：TextRank, SingleRank, WordAttractionRank）を上回るFスコアを達成した。
• 214票のユーザースタディでは、70％の参加者がEmbedRank++（λ=0.5）で抽出されたキーフレーズをEmbedRank（λ=1）よりも好んだ。これは多様性の高いキーフレーズに対する強いユーザーライクを示している。
• ユーザーライクが多様なキーフレーズに傾いているにもかかわらず、EmbedRank++ではFスコアが有意に低下した。これは自動評価と人間の判断の間には乖離があることを示唆している。
• 本手法はスケーラブルで効率的であり、Sent2Vecにより高速な推論が可能で、ウェブやソーシャルメディアの大量データのリアルタイム処理に適している。
• EmbedRank++は、ゴールスタンダードキーフレーズに含まれないが意味的に異なるフレーズを選択することで、冗長性を低減している。これは、Fスコアが意味的に同等だが同一でないキーフレーズをペナルティとして評価するリスクを浮き彫りにしている。
• 本研究は、Fスコアがキーフレーズ抽出の主な評価指標として信頼できるものかどうかに疑問を呈し、人間の好みを組み込んだ新たな評価手法の必要性を提唱している。