[論文レビュー] Is ChatGPT A Good Keyphrase Generator? A Preliminary Study

Mingyang Song, Haiyun Jiang+6 more|arXiv (Cornell University)|Mar 23, 2023

Advanced Text Analysis Techniques被引用数 16

ひとこと要約

本論文は、ChatGPTをキーフレーズ生成器として、六つのプロンプトと五つのベンチマークデータセットにわたり予備的に評価し、プロンプトを用いた場合は高い性能を示す一方で、欠如キーフレーズの生成には顕著な困難があることを示している。

ABSTRACT

The emergence of ChatGPT has recently garnered significant attention from the computational linguistics community. To demonstrate its capabilities as a keyphrase generator, we conduct a preliminary evaluation of ChatGPT for the keyphrase generation task. We evaluate its performance in various aspects, including keyphrase generation prompts, keyphrase generation diversity, and long document understanding. Our evaluation is based on six benchmark datasets, and we adopt the prompt suggested by OpenAI while extending it to six candidate prompts. We find that ChatGPT performs exceptionally well on all six candidate prompts, with minor performance differences observed across the datasets. Based on our findings, we conclude that ChatGPT has great potential for keyphrase generation. Moreover, we discover that ChatGPT still faces challenges when it comes to generating absent keyphrases. Meanwhile, in the final section, we also present some limitations and future expansions of this report.

研究の動機と目的

• PromptデザインがChatGPTのキーフレーズ生成品質にどう影響するかを評価する。
• ChatGPTが生成するキーフレーズの多様性をベースラインと比較して評価する。
• ChatGPTがpresentキーフレーズとabsentキーフレーズを生成する能力を調査する。
• ChatGPTの標準ベンチマークデータセット（KP20k, Inspec, NUS, Krapivin, SemEval）における性能を分析する。
• 関連データを公開し、制限事項と今後の方向性を議論する。

提案手法

• ChatGPTを最先端のキーフレーズ生成モデル（catSeq, catSeqTG-2RF1, ExHiRD-h, SetTrans, WR-SetTrans, PLMベースのモデル）と比較する。
• OpenAIのプロンプトをベースにした6つの候補プロンプト（ Tp1–Tp6 ）を使用し、キーフレーズ収集の抽出と生成の指示を組み込む。
• YeらおよびXieらに従って、トークン化、小文字化、数字正規化、重複排除を行う。
• presentおよびabsentキーフレーズに対してmacro averaged F1@5とF1@Mを用いて評価し、重複を除去するPorter stemmingを適用する。
• presentとabsentのキーフレーズ生成を比較分析し、カウント（#PK, #AK）と重複率を含めて評価する。
• 5つのデータセット：KP20k, Inspec, Nus, Krapivin, SemEval、および実世界データOpenKPでプロンプトをテストする。

実験結果

リサーチクエスチョン

• RQ1 標準データセット上で、異なるChatGPTプロンプトがキーフレーズ生成品質にどのように影響するか。
• RQ2 ChatGPTはキーフレーズを多様に生成できるか、そしてその重複はベースラインとどう比較されるか。
• RQ3 ChatGPTはpresentキーフレーズを信頼性高く生成できるか、absentキーフレーズをどの程度うまく生成できるか。
• RQ4 キーフレーズ生成におけるChatGPTの限界は何か、プロンプトや今後の研究で性能をどう改善できるか。

主な発見

• 6つのプロンプトを用いたChatGPTは、評価対象データセットの6つのプロンプトすべてで高い性能を示し、データセット間の差は小さい。
• ChatGPTはpresentおよびabsentキーフレーズを生成するよう促すと、absentキーフレーズの生成が多くなる傾向があるが、全体としてabsentキーフレーズ生成には依然困難がある。
• ChatGPTは、テスト設定の下で生成されたキーフレーズの多様性が高く、ベースラインより重複が少ないことを示している。
• プロンプトの選択は、presentとabsentキーフレーズのバランスと全体的な結果に大きな影響を与える。
• 本研究は、ChatGPTがキーフレーズ生成に大きな可能性を持つ一方、absentキーフレーズのためのより良いプロンプトと評価手法が必要であることを強調する。