[論文レビュー] Is Stack Overflow Obsolete? An Empirical Study of the Characteristics of ChatGPT Answers to Stack Overflow Questions

Samia Kabir, David N. Udo-Imeh+2 more|arXiv (Cornell University)|Aug 4, 2023

Topic Modeling参考文献 66被引用数 51

ひとこと要約

本論文は 517 の Stack Overflow 質問に対する ChatGPT の回答を実証的に分析し、実質的な誤情報、冗長性、および一貫性の欠如が顕著である一方、網羅性と言語スタイルの点で ChatGPT を選好するユーザーも一定いることを指摘する。

ABSTRACT

Q&A platforms have been crucial for the online help-seeking behavior of programmers. However, the recent popularity of ChatGPT is altering this trend. Despite this popularity, no comprehensive study has been conducted to evaluate the characteristics of ChatGPT's answers to programming questions. To bridge the gap, we conducted the first in-depth analysis of ChatGPT answers to 517 programming questions on Stack Overflow and examined the correctness, consistency, comprehensiveness, and conciseness of ChatGPT answers. Furthermore, we conducted a large-scale linguistic analysis, as well as a user study, to understand the characteristics of ChatGPT answers from linguistic and human aspects. Our analysis shows that 52% of ChatGPT answers contain incorrect information and 77% are verbose. Nonetheless, our user study participants still preferred ChatGPT answers 35% of the time due to their comprehensiveness and well-articulated language style. However, they also overlooked the misinformation in the ChatGPT answers 39% of the time. This implies the need to counter misinformation in ChatGPT answers to programming questions and raise awareness of the risks associated with seemingly correct answers.

研究の動機と目的

• Stack Overflow (SO) と比較した場合のプログラミング質問に対する ChatGPT の回答の正確性と品質を評価する。
• ChatGPT の回答におけるエラーと一貫性の欠如の種類を特徴づける。
• ChatGPT と人間の SO 回答の言語的特徴および感情の差異を探る。
• ChatGPT と SO を選択する際のプログラマーの嗜好とヒューリスティックを理解する。
• AIを用いたプログラミングにおける誤情報を抑制する設計上の考慮事項を示す。

提案手法

• 人気度・新しさ・タイプの異なる 517 件の SO 質問をサンプリングし、質問のタイトル/本文/タグに基づくプロンプトで ChatGPT の回答を生成した。
• 多ラベルコード化スキームを用いて、正確性・一貫性・網羅性・簡潔性について ChatGPT の回答を手動で分析した。
• 2000 件の ChatGPT および SO の回答を対象に、LIWC ベースの大規模言語分析と RoBERTa ベースの感情分析を実施した。
• ChatGPT と SO の回答の認識・正確性・嗜好を評価するため、12 名のプログラマーを対象に被験者内設計のユーザ研究を実施した。
• 誤情報を識別するヒューリスティックや利用者の推論を明らかにするため、半構造化インタビューを実施した。
• 再現性のため、データとコードブックを公開した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 正確性と品質の観点で、ChatGPT の回答は SO の回答とどのように異なるか？
• RQ2 RQ2: 各正確性・品質の側面に関連する細かな問題点は何か？
• RQ3 RQ3: SO の質問のタイプは ChatGPT の回答の品質に影響を与えるか？
• RQ4 RQ4: ChatGPT の回答の言語構造や属性は SO の回答と異なるか？
• RQ5 RQ5: ChatGPT の回答の基本的な感情は SO の回答と異なるか？
• RQ6 RQ6: プログラマーは ChatGPT の回答と人間の回答を区別できるか？
• RQ7 RQ7: プログラマーは ChatGPT の回答における誤情報を識別できるか？
• RQ8 RQ8: プログラマーは Stack Overflow よりも ChatGPT を好むか？

主な発見

• ChatGPT の回答の 52% に誤情報が含まれている。
• ChatGPT の回答の 77% が人間の SO の回答より冗長である。
• ChatGPT の回答の 78% が人間の回答と何らかの不一致を示す。
• 参加者は網羅性と明確さの点で ChatGPT を好んだが、全体としては人間の SO の回答に傾いた。
• ChatGPT の回答に含まれる誤情報を参加者が見逃す割合は 39% だった。
• 言語分析によれば、ChatGPT の回答はより形式的で分析的な語用を示し、ネガティブ感情は少ない。