[論文レビュー] A Systematic Study and Comprehensive Evaluation of ChatGPT on Benchmark Datasets

Md Tahmid Rahman Laskar, M Saiful Bari+4 more|arXiv (Cornell University)|May 29, 2023

Topic Modeling被引用数 13

ひとこと要約

この論文は、140のNLPベンチマークタスクに対するChatGPTの大規模なゼロショット評価を行い、255Kの応答を分析して、強み・弱み・PolyQuery Synthesisのような出現能力を特徴づけます。

ABSTRACT

The development of large language models (LLMs) such as ChatGPT has brought a lot of attention recently. However, their evaluation in the benchmark academic datasets remains under-explored due to the difficulty of evaluating the generative outputs produced by this model against the ground truth. In this paper, we aim to present a thorough evaluation of ChatGPT's performance on diverse academic datasets, covering tasks like question-answering, text summarization, code generation, commonsense reasoning, mathematical problem-solving, machine translation, bias detection, and ethical considerations. Specifically, we evaluate ChatGPT across 140 tasks and analyze 255K responses it generates in these datasets. This makes our work the largest evaluation of ChatGPT in NLP benchmarks. In short, our study aims to validate the strengths and weaknesses of ChatGPT in various tasks and provide insights for future research using LLMs. We also report a new emergent ability to follow multi-query instructions that we mostly found in ChatGPT and other instruction-tuned models. Our extensive evaluation shows that even though ChatGPT is capable of performing a wide variety of tasks, and may obtain impressive performance in several benchmark datasets, it is still far from achieving the ability to reliably solve many challenging tasks. By providing a thorough assessment of ChatGPT's performance across diverse NLP tasks, this paper sets the stage for a targeted deployment of ChatGPT-like LLMs in real-world applications.

研究の動機と目的

• 言語理解、生成、コーディング、推論、翻訳、倫理など、多様なNLPタスクにおけるChatGPTの性能を評価する。
• 最先端のファインチューニング済みモデルおよび人間の性能と比較した強みと弱みを特定する。
• プロンプトのバリエーション、モデルバージョン、および指示追従戦略（例：Chain-of-Thought）を跨るロバスト性を調査する。
• ChatGPT出力における偏り・誤情報の可能性・倫理的考慮を検討する。
• ChatGPTに類するLLMの実世界展開を情報提供するための出現的能力と制限を明らかにする。

提案手法

• リーダーボードベースおよびタスクベースのNLPベンチマークにおけるゼロショット評価。
• 識別タスクについては人間を介在させた検証を、生成タスクについては自動評価指標を用いる。
• 複数の指標でSOTAのファインチューニングモデルおよび他の大規模LLMと比較する。
• プロンプト戦略のアブレーション（Chain-of-Thoughtあり/なし）とモデルバージョン差の分析。
• 標準ベンチマーク（例：WinoBias、TruthfulQA）を用いた偏見・倫理・誤情報の評価。
• 単一のプロンプト内でのマルチクエリ機能としてのPolyQuery Synthesisの導入と評価。

実験結果

リサーチクエスチョン

• RQ1 ゼロショット設定で、ChatGPTは幅広いNLPベンチマークタスクでどのようにパフォーマンスを示すか？
• RQ2 言語理解・生成・推論・倫理的側面におけるChatGPTの強みと限界は何か？
• RQ3 Chain-of-Thoughtを含むプロンプティング戦略や異なるChatGPTバージョンは性能にどう影響するか？
• RQ4 ChatGPTはPolyQuery Synthesisのような出現的能力を示し、1つのプロンプトで複数のクエリを実行できるか？

主な発見

• ChatGPTはしばしば単一タスクの最先端ファインチューニングモデルと比較して低い性能を示す。
• ChatGPTはアルゴリズムタスクで平均的な人間と同等の性能を示し、ゼロショットの数学およびコーディング能力が高い。
• モデルバージョンによって性能は大幅に異なり、新しいバージョンが必ずしも古いものを凌ぐわけではない。
• Chain-of-Thoughtプロンプティングは一部のベンチマークで性能を大幅に向上させる一方、CoTがないと新しい推論タスクで忘却が生じることがある。
• ChatGPTはオープンドメインの知識に強いが、PaLM 540BやLLaMA 65Bと比較するといくつかの一般常識的推論タスクで性能が劣る。
• 倫理と偏見ベンチマークでは、正義／美徳の評価で従来のSOTAモデルより優れていることが多い一方、Type 1バイアス課題では偏見を示し、真実性では従来モデルに比べ総じて有利な比較を示す。