[論文レビュー] Applying a Generic Sequence-to-Sequence Model for Simple and Effective Keyphrase Generation

Md Faisal Mahbub Chowdhury, Gaetano Rossiello+3 more|arXiv (Cornell University)|Jan 14, 2022

Advanced Text Analysis Techniques被引用数 12

ひとこと要約

この論文は、カスタムアーキテクチャや複雑なトレーニング手順を用いずに、ファインチューニングされたBARTを用いたシンプルだが効果的なキーフレーズ生成システムを提案する。その単純さにもかかわらず、5つのキーフレーズベンチマークにおいて最先端または競争力のある性能を達成しており、標準的な事前学習モデルが最小限の適応で特化型KPGシステムを上回ることを示している。

ABSTRACT

In recent years, a number of keyphrase generation (KPG) approaches were proposed consisting of complex model architectures, dedicated training paradigms and decoding strategies. In this work, we opt for simplicity and show how a commonly used seq2seq language model, BART, can be easily adapted to generate keyphrases from the text in a single batch computation using a simple training procedure. Empirical results on five benchmarks show that our approach is as good as the existing state-of-the-art KPG systems, but using a much simpler and easy to deploy framework.

研究の動機と目的

• BARTのような汎用的sequence-to-sequenceモデルが、特化型アーキテクチャやトレーニングパラダイムを用いずに効果的にキーフレーズを生成できるかどうかを調査すること。
• 1つのファインチューニング済みBARTモデルが、複数のキーフレーズベンチマークにわたって一般化能力を示すかを評価すること。
• 複雑なタスク特化型モデルに代わって、標準的なNLP実践に基づく統一的でデプロイ可能なフレームワークを用いてキーフレーズ生成を簡素化すること。
• デフォルトのハイパーパrameterと最小限のファインチューニングでも、最先端のKPGシステムと同等の結果が得られることを示すこと。

提案手法

• Kp20Kデータセット上でBART-largeおよびBART-baseを、ドメイン特化の前処理を一切行わない標準的なsequence-to-sequenceトレーニング手順でファインチューニングする。
• トレーニング中にキーフレーズの完全なリストをターゲットシーケンスとして扱うOne2Seqトレーニングパラダイムを採用する。
• 推論時においては、デフォルトのビームサイズ20を用いたビームサーチにより、1ドキュメントあたり10個のキーフレーズを生成する。
• フレーズマッチングエラーを低減するために、標準的なトークン化（空白で分割）と標点記号正規化を適用する。
• 標準的な指標を用いて評価する：存在するキーフレーズのF-score@5およびF-score@10、存在しないキーフレーズのRecall@10。
• 他の4つのベンチマーク（Inspec, NUS, SemEval, Krapivin）に対しても、再ファインチューニングやハイパーパrameter調整なしに、同じファインチューニング済みモデルを直接適用する。

実験結果

リサーチクエスチョン

• RQ1 BARTのような汎用的sequence-to-sequenceモデルは、アーキテクチャの特化なしに、競争力のあるキーフレーズ生成性能を達成できるか？
• RQ2 1つのファインチューニング済みBARTモデルは、再トレーニングなしに多様なキーフレーズベンチマークに効果的に一般化できるか？
• RQ3 複雑なアーキテクチャとカスタムトレーニング戦略を用いる最先端のKPGモデルと比較して、シンプルなBARTベースのシステムの性能はいかがなものか？
• RQ4 BARTベースのモデルにおける、存在しないキーフレーズ生成の主な失敗モードは何か、特に存在しないキーフレーズの割合が高いデータセットでは？
• RQ5 デフォルトのハイパーパrameterと最小限の前処理でも、広範なチューニングとタスク特化設計を施したシステムと同等の結果が得られるか？

主な発見

• BART-largeモデルは5つのベンチマークのうち3つでF-score@10において最先端の性能を達成し、Krapivinでは13.2%のRecall@10を記録し、先行手法を上回った。
• BART-baseモデルはすべてのベンチマークで競争力のある結果を示し、Kp20Kでは6.1%のRecall@10、Inspecでは5.4%を記録し、優れた一般化能力を示した。
• モデルが生成する存在しないキーフレーズの数は、正解ラベルと比較して顕著に少ない（SemEvalでは平均8.36対2.05）、これはリCALLが依然として主な課題であることを示している。
• 手動分析の結果、生成された存在しないキーフレーズの58%が誤って否定（ファルスネガティブ）であり、しばしば「malmalware」や「pairpairwise」のような余分なトークンの繰り返しによって生じていることが判明した。
• SemEvalの存在しないキーフレーズにおいては低い性能を示したが、人間のアノテーターによる評価では64%の生成された存在しないキーフレーズが適切であると判断されたため、モデルが意味的なパターンを適切に捉えている可能性がある。
• 本手法により、複雑なKPG特化設計は必ずしも必要ではなく、最小限のチューニングで標準的なseq2seqモデルが最先端の性能を達成または上回ることを実証した。