[論文レビュー] Can we trust the evaluation on ChatGPT?

Rachith Aiyappa, Jisun An+2 more|arXiv (Cornell University)|Mar 22, 2023

Topic Modeling参考文献 23被引用数 6

ひとこと要約

この論文は、ChatGPTのような閉鎖的で継続的に更新される大規模言語モデルの評価におけるデータ汚染のリスクを、ステークス検出を事例として調査する。モデルの閉ざされた性質とユーザー入力による強化学習による微調整（RLHF）の結果、評価結果が不自然に高止まりしている可能性があり、こうしたモデルのパフォーマンスベンチマークの信頼性と公平性に深刻な懸念を呈する。

ABSTRACT

ChatGPT, the first large language model (LLM) with mass adoption, has demonstrated remarkable performance in numerous natural language tasks. Despite its evident usefulness, evaluating ChatGPT's performance in diverse problem domains remains challenging due to the closed nature of the model and its continuous updates via Reinforcement Learning from Human Feedback (RLHF). We highlight the issue of data contamination in ChatGPT evaluations, with a case study of the task of stance detection. We discuss the challenge of preventing data contamination and ensuring fair model evaluation in the age of closed and continuously trained models.

研究の動機と目的

• ChatGPTのNLP評価における高いパフォーマンスが、ユーザーが提供したテスト入力からのデータ汚染によるものかどうかを調査すること。
• 閉ざされた、継続的に更新されるLLMにおいて、トレーニングデータとテストデータの漏洩が存在しないことを検証する根本的な課題を浮き彫りにすること。
• ステークス検出における事例研究を通じて、RLHF段階での評価データへの露出によってモデルパフォーマンスが不自然に高止まりしている可能性を示すこと。
• 今後のLLM評価におけるデータ汚染の検出・防止のための透明性の向上とメカニズム整備を呼びかけること。

提案手法

• 1月30日版を用い、SemEval 2016 タスク6データセットのChatGPT出力から手動でステークスラベルを抽出した。
• マイクロF1とマクロF1の両方のスコアを再評価し、F1-mをマイクロ平均、F1-avgをマクロ平均として扱い、最悪ケースの仮定を反映させた。
• Zhang et al., 2021の先行研究と比較することで、スコア定義や報告値における一貫性と乖離を評価した。
• セッションベースのコンテキスト蓄積とレート制限の影響を考慮し、複数のセッションおよび時間間隔における応答パターンを分析した。
• 2月13日版のChatGPT PlusのオープンソースAPIを用いて、セッションの分離を確保し、コンテキストの持ち越し効果を低減した。
• 先行ベンチマーク研究における問題点を同定した。特に、モデルスコアの誤標記やF1定義の不一致が顕在化した。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTのNLPベンチマークでのパフォーマンスは、ユーザーが提供したテスト入力からのデータ汚染によってどの程度説明可能か？
• RQ2 ChatGPTの閉ざされた、継続的に更新される性質は、標準的な評価プロトコルの妥当性をどのように損なうか？
• RQ3 直接的なラベルの露出がなくても、同じドメインの入力テキストへの露出のみで、データ漏洩が生じ得るか？
• RQ4 公表されたベンチマーク結果におけるスコア定義の不一致や曖昧さは、モデル評価にどのような影響を及えるか？
• RQ5 研究者は、閉ざされたソース、RLHFでファインチューニングされたLLMをどのようにして公平かつ信頼性のある方法で評価できるか？

主な発見

• 本研究では、ChatGPTのSemEval 2016 ステークス検出タスクにおけるパフォーマンスは、ベースラインモデルを大きく上回っていたが、これはRLHF段階でのユーザー入力からのデータ汚染による可能性が高いことが判明した。
• 1月30日版から2月13日版にかけてパフォーマンスが低下したことは、継続的な再トレーニングに起因する深刻な忘れ（catastrophic forgetting）や、モデル挙動の変化を示唆している。
• 先行ベンチマーク研究において、F1スコアの誤標記やF1-mとF1-avgの定義の不一致が確認され、比較可能性が損なわれていた。
• ChatGPT出力からのラベルの手動抽出により、応答の冗長性やセッションコンテキストの変動が顕著に認められ、特にレート制限に近づいた際には結果の一貫性が損なわれた。
• 本研究は、ChatGPTのような閉ざされたモデルにおいて、データ汚染が明確に除外できないと結論づけ、標準的な評価結果が信頼できない可能性があると指摘した。
• 著者らは、特にRLHFパイプラインにおけるユーザーフィードバックからのデータ漏洩を検出・防止するためのより良いメカニズムをモデル開発者が導入すべきだと主張している。