[論文レビュー] How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection

Biyang Guo, Xin Zhang+6 more|arXiv (Cornell University)|Jan 18, 2023

Artificial Intelligence in Healthcare and Education被引用数 292

ひとこと要約

この論文はHC3を導入し、大規模な人間とChatGPTの比較コーパスを分析し、AI生成と人間生成コンテンツを識別する検出器を開発・評価し、オープンソースのデータとモデルを提供します。

ABSTRACT

The introduction of ChatGPT has garnered widespread attention in both academic and industrial communities. ChatGPT is able to respond effectively to a wide range of human questions, providing fluent and comprehensive answers that significantly surpass previous public chatbots in terms of security and usefulness. On one hand, people are curious about how ChatGPT is able to achieve such strength and how far it is from human experts. On the other hand, people are starting to worry about the potential negative impacts that large language models (LLMs) like ChatGPT could have on society, such as fake news, plagiarism, and social security issues. In this work, we collected tens of thousands of comparison responses from both human experts and ChatGPT, with questions ranging from open-domain, financial, medical, legal, and psychological areas. We call the collected dataset the Human ChatGPT Comparison Corpus (HC3). Based on the HC3 dataset, we study the characteristics of ChatGPT's responses, the differences and gaps from human experts, and future directions for LLMs. We conducted comprehensive human evaluations and linguistic analyses of ChatGPT-generated content compared with that of humans, where many interesting results are revealed. After that, we conduct extensive experiments on how to effectively detect whether a certain text is generated by ChatGPT or humans. We build three different detection systems, explore several key factors that influence their effectiveness, and evaluate them in different scenarios. The dataset, code, and models are all publicly available at https://github.com/Hello-SimpleAI/chatgpt-comparison-detection.

研究の動機と目的

• 多様なドメインにおける人間の専門家とChatGPTの質問と回答を含む大規模なHC3データセットを構築する。
• ヒトの評価と言語分析を実施して、人間とChatGPTの回答の違いを特徴づける。
• 複数のシナリオにおいてAI生成テキストと人間生成テキストを区別する検出器を開発・評価する。
• データセット・評価・検出モデルをオープンソース化し、今後の研究とプラットフォーム規制を支援する。

提案手法

• 公開QAデータセットとウィキソースからHC3を組み立て、質問と人間・ChatGPT双方の回答を収集する。
• 専門家/アマチュアのツーリングテストや有用性評価を含む多面的な人間評価を実施する。
• 人間 vs ChatGPTの出力を比較するため、品詞(POS)・依存構造・感情・困惑度などの言語分析を行う。
• GLTRベースのロジスティック回帰、RoBERTaの単一テキスト、RoBERTa QA の三つの検出システムを様々なデータ条件で訓練・評価する。
• 生データ/フィルタ済み、全体/分割、文/混在の6つのデータ変種を作成し、OOD性能を検証して頑健性と一般化を検討する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTと人間の専門家は、ドメイン横断で言語的・文体的特徴においてどのように異なるか？
• RQ2 AI生成コンテンツの検出性に影響を与える要因は何か？
• RQ3 さまざまなデータ条件と6つの変異データセットに対して、異なるAIコンテンツ検出器はどれくらい頑健か？
• RQ4 HC3分析に基づく将来のLLM開発とプラットフォームガバナンスの指針は何か？

主な発見

• ChatGPTの回答は一般により整理され、長く、より中立的であり、品詞や依存パターンが人間の回答と異なる。
• 人間はより大きな語彙と多様な表現を使用する傾向がある一方、ChatGPTは困惑度が低く、一貫した文体パターンを示す。
• 人間評価では、回答のペアが示されるときにChatGPTを区別するのが単一の回答よりも容易であり、検出タスクで専門家がアマチュアを上回る。
• ChatGPTの内容は多くの領域（金融、心理学）でより有用と認識されることが多いが、医療領域では過度に長いまたは慎重な回答のため有用性が低いとされることがある。
• 言語分析は、ChatGPTが名詞・動詞・限定詞・接続詞を多く使用する一方、人間はより広範な感情表現や主観的表現を示すことを示している。