[論文レビュー] ChatGPT vs State-of-the-Art Models: A Benchmarking Study in Keyphrase Generation Task

Roberto Martínez-Cruz, Alvaro J. López-López+1 more|arXiv (Cornell University)|Apr 27, 2023

Advanced Text Analysis Techniques被引用数 5

ひとこと要約

本研究では、科学的およびニュース分野の6つの公開データセット（短文および長文を含む）を対象に、ChatGPTを最先端モデル（KeyBART含む）と比較してキーフレーズ生成のベンチマークを実施した。ChatGPTは全設定ですべてのベースラインを上回り、大規模なコンテキスト窓とマルチタスク事前学習の恩恵により、要約的キーフレーズ生成、ドメイン適応、長文処理の面で優れた性能を示した。

ABSTRACT

Transformer-based language models, including ChatGPT, have demonstrated exceptional performance in various natural language generation tasks. However, there has been limited research evaluating ChatGPT's keyphrase generation ability, which involves identifying informative phrases that accurately reflect a document's content. This study seeks to address this gap by comparing ChatGPT's keyphrase generation performance with state-of-the-art models, while also testing its potential as a solution for two significant challenges in the field: domain adaptation and keyphrase generation from long documents. We conducted experiments on six publicly available datasets from scientific articles and news domains, analyzing performance on both short and long documents. Our results show that ChatGPT outperforms current state-of-the-art models in all tested datasets and environments, generating high-quality keyphrases that adapt well to diverse domains and document lengths.

研究の動機と目的

• 異なるドメインおよび文書長さ、特に既存モデルが性能を発揮できない長文において、ChatGPTのキーフレーズ生成性能を評価すること。
• ChatGPTがマルチタスク・マルチドメイン事前学習の利点を活かしてドメイン適応の課題を克服できるかどうかを評価すること。
• ChatGPTの大きなコンテキスト窓（KeyBARTの4倍まで長い）が、長文ドキュメントにおけるキーフレーズ生成にどのように寄与するかを調査すること。
• 科学的およびニュース分野の6つのベンチマークデータセットにおいて、現在の最先端モデルであるKeyBARTとChatGPTの性能を比較すること。
• さまざまな入力タイプにおいて、正確で文脈的に関連性のあるキーフレーズを生成できる能力を示す、実世界の事例研究を提供すること。

提案手法

• 本研究では、科学的論文およびニュース記事からなる6つの公開データセットを用い、短文および長文の両方を含む。
• ChatGPTはゼロショットのテキストtoテキスト生成アプローチを用い、標準化されたプロンプト（'次のテキストのキーフレーズを生成してください：'に続く入力ドキュメント）を適用した。
• 性能評価には標準的な指標（上位k個のキーフレーズにおける正確率、再現率、F1スコア；k=3, 5, 10）を用いた。
• 全データセットで同一の評価プロトコルを適用し、KeyBART（現在の最先端モデル）と比較した。
• DUC2001ニュースデータセットおよび科学的論文からの代表的サンプルを用いて、定性的な性能と推論を分析する事例研究を実施した。
• ChatGPTの知識および推論能力を、フォローアップ質問を通じて直接検証し、事実の根拠の有無や文脈への意識の有無を評価した。

Figure 1: Example prompt used to generate keyphrases with ChatGPT

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは、従来のモデルが苦戦する非科学的およびニュース分野を含む多様なドメインにおいて、高品質なキーフレーズを生成できるか？
• RQ2 長文ドキュメントにおいて、ChatGPTのキーフレーズ生成性能は最先端モデルであるKeyBARTと比べてどの程度優れているか？
• RQ3 ChatGPTの大きなコンテキスト窓（KeyBARTの4倍まで長い）が、長文ドキュメントにおけるキーフレーズ生成にどの程度寄与するか？
• RQ4 Out-of-domainなテキストに対して、ChatGPTはファインチューニング済みモデル（例：KeyBART）よりも優れたドメイン適応能力を示すか？
• RQ5 特定の状況でChatGPTの性能が低下する理由は何か？また、入力品質や文脈の制限を自ら認識できるか？

主な発見

• ChatGPTは全6つのベンチマークデータセットでKeyBARTを上回り、抽出的および要約的キーフレーズ生成の両方で高いF1スコアを達成した。
• ニュース分野（DUC2001）において、KeyBARTが完全に失敗し、ドメインに不適切な要約的フレーズしか生成できない事例で、ChatGPTはすべてのキーフレーズを正しく特定した。
• 長文の科学的論文において、ChatGPTは高い性能を維持している一方、KeyBARTは制限されたコンテキスト窓のため性能が著しく低下した。
• ChatGPTは強力なドメイン一般化能力を示し、航空や軍事分野のニュースにおいても、ファインチューニングを行っていなくてもキーフレーズを正しく特定した。
• 失敗について質問された際、ChatGPTは性能低下の原因を「明確な焦点の欠如」「文脈の制限」「語彙の乏しさ」などと正しく特定し、入力制限への自己認識を示した。
• ChatGPTの実世界の出来事（例：有名人ニュース）に関する知識は全体的に正確であるが、金額や場所などの詳細情報を一部漏れることもある。

Figure 2: Case Study 1.1: Short Scientific Document from Inspec Test Dataset