[論文レビュー] Keyphrase Prediction With Pre-trained Language Model

Rui Liu, Zheng Lin+1 more|arXiv (Cornell University)|Apr 22, 2020

Advanced Text Analysis Techniques参考文献 20被引用数 13

ひとこと要約

本稿では、キーフレーズ予測を「存在するキーフレーズ抽出」(PKE) と「存在しないキーフレーズ生成」(AKG) に分離する共同フレームワークを提案する。両タスクに共通のBERTモデルを用い、PKEではBERTを系列ラベル付けに適用し、AKGではトランスフォーマーに基づくモデルに微調整済みPKEの知識をゲート付きファージョンアテンションモジュールで統合することで、ベンチマークデータセット上で最先端の性能を達成した。従来の抽出的・生成的モデルを上回る性能を両タスクで示した。

ABSTRACT

Recently, generative methods have been widely used in keyphrase prediction, thanks to their capability to produce both present keyphrases that appear in the source text and absent keyphrases that do not match any source text. However, the absent keyphrases are generated at the cost of the performance on present keyphrase prediction, since previous works mainly use generative models that rely on the copying mechanism and select words step by step. Besides, the extractive model that directly extracts a text span is more suitable for predicting the present keyphrase. Considering the different characteristics of extractive and generative methods, we propose to divide the keyphrase prediction into two subtasks, i.e., present keyphrase extraction (PKE) and absent keyphrase generation (AKG), to fully exploit their respective advantages. On this basis, a joint inference framework is proposed to make the most of BERT in two subtasks. For PKE, we tackle this task as a sequence labeling problem with the pre-trained language model BERT. For AKG, we introduce a Transformer-based architecture, which fully integrates the present keyphrase knowledge learned from PKE by the fine-tuned BERT. The experimental results show that our approach can achieve state-of-the-art results on both tasks on benchmark datasets.

研究の動機と目的

• 従来のモデルが存在しないキーフレーズを生成できない、または存在するキーフレーズ抽出で性能を発揮できないという限界を是正すること。
• 抽出的モデルの長所（依存関係モデリング）と生成的モデルの長所（存在しないキーフレーズの作成）を、タスクを分離することで活用すること。
• 両サブタスク間で共有されるコンテキスト知識を共有BERTモデルから得ることで、キーフレーズ予測の性能を向上させること。
• ゲート付きファージョンアテンション機構を用いて、明示的な存在するキーフレーズの知識を統合することで、存在しないキーフレーズ生成の質を向上させること。

提案手法

• PKEタスクは、CRFデコードを用いたBERTを用いた系列ラベル付け問題として定式化される。
• PKEに適した文を抽出するための文フィルターモジュールを導入し、学習におけるノイズを低減する。
• AKGタスクは、共有BERTエンコーダーに条件付けられたトランスフォーマーに基づくデコーダーとコピーメカニズムを用いる。
• ゲート付きファージョンアテンションモジュールは、BERT表現とトランスフォーマーのエンコーダー出力を統合し、微調整済みPKEの知識を生成プロセスに統合する。
• 共有BERTモデルはPKEおよびAKGの両タスクで同時に微調整され、サブタスク間でコンテキスト知識を共有する。
• フレームワークにより共同最適化が可能となり、PKEがエンコーダーを改善し、AKGが正確なキーフレーズ抽出の恩恵を受ける。

実験結果

リサーチクエスチョン

• RQ1 キーフレーズ予測を存在するキーフレーズ抽出と存在しないキーフレーズ生成に分離することで、両タスクの性能向上が図れるか？
• RQ2 抽出的および生成的モデルをどのように共同最適化すれば、その相補的長所を活かせるか？
• RQ3 PKEで微調整されたBERT表現が、生成モデルにおける存在しないキーフレーズ生成の質を向上させられるか？
• RQ4 ノイズの多い文をフィルタリングすることで、存在するキーフレーズ抽出の性能にどのような影響を与えるか？
• RQ5 明示的な存在するキーフレーズの知識を組み込むことで、生成された存在しないキーフレーズの関連性と正確性が向上するか？

主な発見

• 提案手法は、3つのベンチマークデータセットにおいてPKEおよびAKGの両タスクで最先端の性能を達成した。
• TG-Net や KG-KE-KR といった強力なベースラインを上回り、ケーススタディではすべての正例となる存在しないキーフレーズを生成したが、他のモデルは少なくとも1つを漏らしていた。
• 文フィルターモジュールにより、関連する文のみを選択することでPKEの性能が向上し、最適な性能はK=7文選択時であった。
• PKEのF1スコアはK=7でピークに達し、再現率と適合率のバランスが取れていることが示された。ノイズの多い文が多すぎると性能が低下した。
• ゲート付きファージョンアテンション機構により、PKEの知識が効果的にAKGモデルに統合され、よりトピックに即した存在しないキーフレーズの生成が可能になった。
• モデルは動的に抽出すべきキーフレーズ数（例：ケーススタディでは6つ）を決定でき、従来の生成モデルが課す固定のtop-k制限を回避した。