[論文レビュー] Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study

Di Wu, Wasi Uddin Ahmad+1 more|arXiv (Cornell University)|Dec 20, 2022

Advanced Text Analysis Techniques被引用数 6

ひとこと要約

本稿は、キーフレーズ生成における事前学習言語モデル（PLM）の包括的な実験的分析を提示しており、エンコーダーのみとエンコーダー・デコーダー型のPLMを、さまざまなドメインで比較している。低リソース設定では、ドメイン内BERT型PLMが最先端の性能を達成しており、固定パラメータ予算のもとで、より深いエンコーダーが幅広いまたはバランスの取れたモデルを上回る性能を発揮することが判明した。これは、高いデータ効率と性能向上をもたらす。

ABSTRACT

Neural models that do not rely on pre-training have excelled in the keyphrase generation task with large annotated datasets. Meanwhile, new approaches have incorporated pre-trained language models (PLMs) for their data efficiency. However, there lacks a systematic study of how the two types of approaches compare and how different design choices can affect the performance of PLM-based models. To fill in this knowledge gap and facilitate a more informed use of PLMs for keyphrase extraction and keyphrase generation, we present an in-depth empirical study. Formulating keyphrase extraction as sequence labeling and keyphrase generation as sequence-to-sequence generation, we perform extensive experiments in three domains. After showing that PLMs have competitive high-resource performance and state-of-the-art low-resource performance, we investigate important design choices including in-domain PLMs, PLMs with different pre-training objectives, using PLMs with a parameter budget, and different formulations for present keyphrases. Further results show that (1) in-domain BERT-like PLMs can be used to build strong and data-efficient keyphrase generation models; (2) with a fixed parameter budget, prioritizing model depth over width and allocating more layers in the encoder leads to better encoder-decoder models; and (3) introducing four in-domain PLMs, we achieve a competitive performance in the news domain and the state-of-the-art performance in the scientific domain.

研究の動機と目的

• 事前学習言語モデル（PLM）がキーフレーズ生成に与える効果を、非事前学習ニューラルモデルと比較して体系的に評価すること。
• PLMの種類、事前学習ドメイン、パラメータ配分、フォーマットといった設計選択が性能に与える影響を調査すること。
• データおよび計算リソースに制限がある状況で、キーフレーズ生成にPLMを最適に活用する方法とタイミングを特定すること。
• 研究者および実務家がキーフレーズタスクに適切なPLMを選定・微調整するための実用的知見を提供すること。

提案手法

• キーフレーズ生成を系列から系列への（seq2seq）生成問題として定式化し、キーフレーズ抽出を系列ラベル付け問題として扱う。
• ニュース、科学、ソフトウェアのドメインにまたがる7つのデータセットで、BERT、BART、T5、およびドメイン固有の変種を含むさまざまなPLMを微調整する。
• S2ORC（科学）およびRealNews（ニュース）コーパスを用いて事前学習した4つのドメイン内PLMを導入し、ドメイン特化性能を評価する。
• 固定されたパラメータ予算のもとで、モデルの深さと幅を変化させることで、パラメータ配分戦略を比較し、エンコーダーとデコーダーのトレードオフに注目する。
• 現在のキーフレーズ予測に適した3つのフォーマットを評価する：直接生成、系列ラベル付け、CRF強化型系列ラベル付け。
• F1スコア、適合率、再現率といった標準指標を用いて、低リソースおよび高リソース設定におけるモデル性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 キーフレーズ生成において、PLMベースのモデルは非事前学習モデルと比べて、性能およびデータ効率の面で優れているか？
• RQ2 ドメイン内PLMを使用することで、特に低リソース状況において性能が向上するか？
• RQ3 固定されたモデルサイズ予算のもとで、最適なパラメータ配分戦略（深さ対幅、エンコーダー対デコーダー）は何か？
• RQ4 生成、系列ラベル付け、CRF強化型系列ラベル付けのうち、どのフォーマットが現在のキーフレーズ予測において最も優れた性能を発揮するか？

主な発見

• ドメイン内BERT型PLMは、科学ドメインで最先端の性能を達成し、ニュースドメインでも競争力のある結果を示しており、強いデータ効率を示している。
• 固定されたパラメータ予算のもとで、エンコーダーに多くの層を割り当て、モデルの深さを優先することで、幅を広げたりエンコーダー／デコーダーのバランスを取ったりする戦略よりも顕著に優れた性能が得られる。
• ドメイン内エンコーダーのみのPLMをキーフレーズ生成タスクに直接微調整することで、優れた性能が得られ、エンコーダー・デコーダー型PLMのみが適しているという仮定に疑問を呈する。
• 科学的文献のような専門ドメインでは、ドメイン特化PLM（例：SciBARTやKeyBART）の使用が、キーフレーズ生成性能の向上に寄与する。
• PLMベースのモデルは高リソース設定でも競争力のある性能を発揮し、低リソース設定では最先端の結果を達成しており、そのデータ効率が裏付けられている。
• CRFを用いた系列ラベル付けは、標準的な系列ラベル付けよりも性能が向上するが、ドメイン内PLMやより深いアーキテクチャの恩恵に比べて、その向上幅は小さい。