[論文レビュー] MDERank: A Masked Document Embedding Rank Approach for Unsupervised Keyphrase Extraction

Linhan Zhang, Qian Chen+6 more|arXiv (Cornell University)|Oct 13, 2021

Advanced Text Analysis Techniques被引用数 6

ひとこと要約

MDERankは、候補キーフレーズを文書内でマスクし、元の文書とマスク済み文書間の埋め込み類似度を測ることで、類似度ベースの順序付けを改善する新しい教師なしキーフレーズ抽出手法を提案する。KPE最適化Bertモデル（KPEBERT）と対照的事前学習を活用することで、SIFRankに比べてF1@15で3.53の向上を達成し、最先端の性能を実現した。

ABSTRACT

Keyphrase extraction (KPE) automatically extracts phrases in a document that provide a concise summary of the core content, which benefits downstream information retrieval and NLP tasks. Previous state-of-the-art (SOTA) methods select candidate keyphrases based on the similarity between learned representations of the candidates and the document. They suffer performance degradation on long documents due to discrepancy between sequence lengths which causes mismatch between representations of keyphrase candidates and the document. In this work, we propose a novel unsupervised embedding-based KPE approach, Masked Document Embedding Rank (MDERank), to address this problem by leveraging a mask strategy and ranking candidates by the similarity between embeddings of the source document and the masked document. We further develop a KPE-oriented BERT (KPEBERT) model by proposing a novel self-supervised contrastive learning method, which is more compatible to MDERank than vanilla BERT. Comprehensive evaluations on six KPE benchmarks demonstrate that the proposed MDERank outperforms state-of-the-art unsupervised KPE approach by average 1.80 $F1@15$ improvement. MDERank further benefits from KPEBERT and overall achieves average 3.53 $F1@15$ improvement over the SOTA SIFRank. Our code is available at \url{https://github.com/LinhanZ/mderank}.

研究の動機と目的

• 文書とキーフレーズ候補の長さの違いにより、教師なしキーフレーズ抽出におけるフレーズ-文書類似度手法の性能が低下する問題に対処すること。
• 元の文書とマスク済み文書の間で比較可能なシーケンス長を保証することで、意味的類似度計算の信頼性を向上させること。
• マスク済み文書からの文脈的埋め込みを活用することで、キーフレーズ候補表現を向上させ、類似度マッチングに適したより豊かな文脈を保持すること。
• 自己教師付き対照的学習を用いて、キーフレーズ抽出に特化したドメイン固有の事前学習言語モデル（KPEBERT）を構築すること。
• 特に長文書において従来手法が性能を発揮しない状況でも、多様なデータセットで堅牢で優れた性能を示すことを実証すること。

提案手法

• MDERankはマスク済み文書埋め込み順序付け戦略を用いる：元の文書から候補キーフレーズをマスクし、元のバージョンとマスク済みバージョンの間の意味的類似度を計算する。
• この手法は、元の文書とマスク済み文書の埋め込み間の類似度が増加するにつれてキーフレーズ候補を順序付けする。類似度が低いほど、キーフレーズの重要性が高いと判断する。
• 文脈的埋め込みを生成するためにBERTベースのエンコーダーを用い、最適な意味的表現を得るために最終層を選択する。
• キーフレーズ抽出に最適化されたKPEBERTの事前学習のため、独自の自己教師付き対照的学習目的関数を導入する。これは、教師なしKPE手法からの疑似ラベルを用いる。
• YAKE や TextRank などの手法から得られる疑似ラベルデータを用いて微調整することで、汎化性と頑健性を向上させる。
• BERTの各層における平均プーリング（AvgPooling）と最大プーリング（MaxPooling）の性能を比較し、MDERankに最適な埋め込み集約法を特定する。

実験結果

リサーチクエスチョン

• RQ1 文書内のキーフレーズ候補をマスクすることで、教師なしキーフレーズ抽出における意味的類似度測定の信頼性が向上するか？
• RQ2 マスク済み文書埋め込みをキーフレーズの重要性の代理として用いることで、直接的なフレーズ-文書類似度マッチングを上回る性能が得られるか？
• RQ3 自己教師付き対照的学習目的関数を用いることで、キーフレーズ抽出に最適化された事前学習言語モデルの性能が向上するか？
• RQ4 疑似ラベル生成に用いる教師なしKPE手法の選択が、KPE最適化Bertモデル（KPEBERT）の性能に与える影響は何か？
• RQ5 MDERankは、特に長文書において、キーフレーズ長の変動に対しても頑健性を保っているか？

主な発見

• MDERankは6つのベンチマークで、前回のSOTA手法SIFRankに平均1.80 F1@15の向上を達成した。
• KPEBERTを組み合わせたMDERankは、SIFRankに比べて平均3.53 F1@15の向上を示し、手法と最適化モデルとの強い相乗効果を実証した。
• KPEBERTの事前学習にYAKEを疑似ラベル生成に用いることで、短文書および長文書の両方で、特に長文書においてTextRankを上回る優れた性能を発揮した。
• MDERankでは、最後のBERT層が常に初期層よりも優れた性能を示し、より深い文脈的表現が性能向上に寄与することがわかった。
• MaxPoolingはMDERankとEmbedRankの両方でAvgPoolingに劣り、MDERankはより強いプーリングと深い層の組み合わせからより大きな恩恵を受けた。
• MDERankはキーフレーズ長の変動に対して頑健であり、フレーズ-文書類似度手法が見せる長めのフレーズへのバイアスを回避した。