[論文レビュー] PromptRank: Unsupervised Keyphrase Extraction Using Prompt

Aobo Kong, Shiwan Zhao+5 more|arXiv (Cornell University)|May 8, 2023

Advanced Text Analysis Techniques被引用数 4

ひとこと要約

PromptRankは、ドキュメントのプロンプト版から候補キーフレーズを生成する確率を計算することで、キーフレーズ候補をランク付けする、新たな教師なしキーフレーズ抽出手法を提案する。微調整やアーキテクチャの変更を必要とせず、SOTA性能を達成し、MDERankに対して5、10、15個のキーフレーズを返す場合に、それぞれ34.18%、24.87%、17.57%のF1スコア向上を達成した。

ABSTRACT

The keyphrase extraction task refers to the automatic selection of phrases from a given document to summarize its core content. State-of-the-art (SOTA) performance has recently been achieved by embedding-based algorithms, which rank candidates according to how similar their embeddings are to document embeddings. However, such solutions either struggle with the document and candidate length discrepancies or fail to fully utilize the pre-trained language model (PLM) without further fine-tuning. To this end, in this paper, we propose a simple yet effective unsupervised approach, PromptRank, based on the PLM with an encoder-decoder architecture. Specifically, PromptRank feeds the document into the encoder and calculates the probability of generating the candidate with a designed prompt by the decoder. We extensively evaluate the proposed PromptRank on six widely used benchmarks. PromptRank outperforms the SOTA approach MDERank, improving the F1 score relatively by 34.18%, 24.87%, and 17.57% for 5, 10, and 15 returned results, respectively. This demonstrates the great potential of using prompt for unsupervised keyphrase extraction. We release our code at https://github.com/HLT-NLP/PromptRank.

研究の動機と目的

• 既存の教師なしキーフレーズ抽出手法の限界、特にドキュメントと候補の長さの不一致、およびPLMベースの手法における対照的微調整の必要性を解決すること。
• プロンプト工学が、性能を維持または向上させながら、教師なしキーフレーズ抽出における微調整の代替として効果的に機能するかを検討すること。
• 追加のトレーニングやパラメータ更新なしに事前学習モデルを直接利用するシンプルで即挿入可能な手法を開発すること。
• 異なるデータセットおよびモデルアーキテクチャにわたる、手法の頑健性と一般化性能を評価すること。

提案手法

• PromptRankは、ドキュメントをエンコーダーに入力し、候補フレーズを含むプロンプトテンプレートをデコーダーに入力する事前学習済みエンコーダーデコーダーモデル（例：T5-base）を用いる。
• ドキュメントと設計済みプロンプトに基づき、候補フレーズの生成確率を計算し、デコーダー出力確率をランク付けスコアとして用いる。
• プロンプトは、候補の長さと文脈を拡張することで、ドキュメントと候補の長さの不一致を軽減する。
• ランク付けスコアは、デコーダーの予測における交差エントロピー損失から導出され、確率が高いほど関連性が高いとされる。
• 位置重み付け（β）や長さスケーリング（γ）などのハイパーパrameterは、ドキュメント長に応じて動的に調整され、短いおよび長いテキストの両方で性能をバランスさせる。
• この手法は完全に教師なしであり、微調整や追加パラメータを一切必要としない。

実験結果

リサーチクエスチョン

• RQ1 エンコーダーデコーダーPLMにおけるプロンプトベース生成が、教師なしキーフレーズランク付けにおける埋め込み類似度の代替として効果的に機能するか？
• RQ2 プロンプト設計がゼロショット設定におけるキーフレーズ抽出性能にどのように影響するか？
• RQ3 微調整なしで、異なるPLMアーキテクチャおよびサイズにわたって一般化できるか？
• RQ4 位置重み付けやプロンプト長といったハイパーパrameterが、短いおよび長いドキュメントにおけるランク付け性能に与える影響は？

主な発見

• 6つのベンチマークで5個のキーフレーズを抽出する際、MDERankに対して34.18%の相対的F1スコア向上を達成した。
• 10個および15個のキーフレーズを抽出する際には、それぞれ24.87%および17.57%のF1スコア向上を示し、全トップ-k設定で一貫した優位性を示した。
• Inspec、SemEval、DUCなど多様なデータセットにおいても、PromptRankは強力な性能を維持し、SOTAベースラインを一貫して上回った。
• T5-small、T5-base、T5-large、BART-base、BART-largeなど、異なるPLMアーキテクチャにおいても、微調整なしでMDERankを上回った。
• 動的位置重み付けの最適なハイパーパrameterγは1.2×10⁸と特定され、短いおよび長いドキュメントの両方で性能をバランスさせた。
• 事例研究では、PromptRankがゴールキーフレーズに高いスコアを割り当て、MDERankよりも不適切な候補をより効果的に識別できた。