[論文レビュー] Can ChatGPT Understand Too? A Comparative Study on ChatGPT and Fine-tuned BERT

Qihuang Zhong, Liang Ding+3 more|arXiv (Cornell University)|Feb 19, 2023

Topic Modeling被引用数 147

ひとこと要約

本研究はGLUEベンチマークにおいて、ChatGPTをファインチューニング済みのBERT系モデルと比較評価し、推論/推論能力は高い一方、パラフレーズおよび類似性の処理は弱いことを示した。高度なプロンプティングによりChatGPTの性能を向上させることができ、特定のタスクでRoBERTa-largeを上回る場合もある。

ABSTRACT

Recently, ChatGPT has attracted great attention, as it can generate fluent and high-quality responses to human inquiries. Several prior studies have shown that ChatGPT attains remarkable generation ability compared with existing models. However, the quantitative analysis of ChatGPT's understanding ability has been given little attention. In this report, we explore the understanding ability of ChatGPT by evaluating it on the most popular GLUE benchmark, and comparing it with 4 representative fine-tuned BERT-style models. We find that: 1) ChatGPT falls short in handling paraphrase and similarity tasks; 2) ChatGPT outperforms all BERT models on inference tasks by a large margin; 3) ChatGPT achieves comparable performance compared with BERT on sentiment analysis and question-answering tasks. Additionally, by combining some advanced prompting strategies, we show that the understanding ability of ChatGPT can be further improved.

研究の動機と目的

• GLUEベンチマークを用いて、さまざまなNLUタスクにわたるChatGPTの理解能力を評価する。
• 代表的なファインチューニング済みBERT系モデル（BERT-base、BERT-large、RoBERTa-base、RoBERTa-large）とChatGPTを比較する。
• prompting戦略がChatGPTの性能に与える影響を調査する（few-shot、zero-shot CoT、manual few-shot CoT）。
• 含意、パラフレーズ、類似性タスクにおけるChatGPTのタスク特有の強みと弱みを特定する。
• ChatGPTの潜在的な限界と失敗事例を探り、 promptingによる理解向上の手段を提案する。）

提案手法

• タスク固有のプロンプトを用いて、GLUEタスクにおけるChatGPTと4つのBERT系ベースラインを評価する。
• 各クラスにつき25の開発セット实例をサンプリング（STS-Bは50）して評価サブセットを作成する。
• 適切に各タスクの標準指標（Accuracy、F1、Pearson/ Spearman、MCC）を用いる。
• ゼロショットのChatGPTとファインチューニング済みベースラインを比較して下限の理解力を確立する。
• 高度な prompting戦略（標準のfew-shot、zero-shot CoT、manual few-shot CoT）を適用して利得を評価する。
• クラス別の結果を分析し、失敗と強みを示す事例研究を提供する。）

実験結果

リサーチクエスチョン

• RQ1 ChatGPTはGLUEタスクでゼロショット設定でもベースサイズのBERTと同等の理解力を達成できるか。
• RQ2 GLUE内で推論タスクとパラフレーズ/類似性タスクのパフォーマンスはどうか。
• RQ3 高度な prompting 戦略はChatGPTの理解を改善するか、どの戦略が最も効果的か。
• RQ4 NLUタスクにおけるChatGPTの顕著な失敗モードは何か、 promptingはそれにどう対応できるか。
• RQ5 promptingによってChatGPTは特定のタスクでRoBERTa-largeにどれだけ近づくか、または上回るか。

主な発見

• ChatGPTは推論タスクで高いパフォーマンスを示すが、パラフレーズや類似性タスク、特に否定サンプルで結果が弱い。
• いくつかの推論タスクでChatGPTは全てのBERT系モデルを上回り、顕著な推論能力を示す。
• 高度な promptingにより、ChatGPTはRoBERTa-largeとの差を大きく縮め、特定のタスクでは上回ることもあるが、平均性能では依然差が残る。
• ゼロショットのChatGPTは prompting戦略を強化するとRoBERTa-baseに匹敵する性能を達成することがあるが、全体として最強モデルにはまだ及ばない。
• 手動のFew-shot chain-of-thought promptingが、試験した prompting手法の中で最大の性能向上をもたらす。
• 1ショット promptingのサンプルには感度が高く、サンプルの関連性とテストデータへの類似性の重要性を示している。