[论文解读] LLMs and Stack Overflow Discussions: Reliability, Impact, and Challenges

Léuson Da Silva, Jordan Samhi+1 more|arXiv (Cornell University)|Feb 13, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用 3

一句话总结

本实证研究评估了ChatGPT与LLaMA在生成真实Stack Overflow问题答案时的影响、可靠性及挑战。基于包含问题与专家验证答案的数据集，作者发现尽管两种大语言模型在通用编程问题上表现良好，但在框架与库特定的查询中表现欠佳，且其兴起与Stack Overflow用户参与度的显著下降相关，表明它们尚不能作为人类维护的开发者社区的可靠替代方案。

ABSTRACT

Since its release in November 2022, ChatGPT has shaken up Stack Overflow, the premier platform for developers queries on programming and software development. Demonstrating an ability to generate instant, human-like responses to technical questions, ChatGPT has ignited debates within the developer community about the evolving role of human-driven platforms in the age of generative AI. Two months after ChatGPT release, Meta released its answer with its own Large Language Model (LLM) called LLaMA: the race was on. We conducted an empirical study analyzing questions from Stack Overflow and using these LLMs to address them. This way, we aim to (i) quantify the reliability of LLMs answers and their potential to replace Stack Overflow in the long term; (ii) identify and understand why LLMs fail; (iii) measure users activity evolution with Stack Overflow over time; and (iv) compare LLMs together. Our empirical results are unequivocal: ChatGPT and LLaMA challenge human expertise, yet do not outperform it for some domains, while a significant decline in user posting activity has been observed. Furthermore, we also discuss the impact of our findings regarding the usage and development of new LLMs and provide guidelines for future challenges faced by users and researchers.

研究动机与目标

• 评估类似ChatGPT与LLaMA的大语言模型（LLMs）对Stack Overflow用户参与度的影响。
• 衡量LLM生成的答案与Stack Overflow上人工验证答案的可靠性对比。
• 识别LLM回答中的故障模式与挑战，特别是在复杂软件开发领域。
• 比较两种主流LLM——ChatGPT与LLaMA——在不同类型编程问题上的表现。
• 理解LLM在长期内是否能够实际替代人类驱动的问答平台（如Stack Overflow）

提出的方法

• 本研究从Stack Overflow中挖掘了1,000个真实问题，重点关注编程语言、框架与库等主题。
• 针对每个问题，使用标准化提示技术，分别向ChatGPT与LLaMA请求生成答案。
• 通过基于嵌入的指标（如BERTScore、BLEU）评估生成答案与标准人工答案的文本相似度。
• 由专家评审员评估答案的质量与正确性，建立可靠性评估的基准。
• 分析ChatGPT发布前后Stack Overflow上的用户参与趋势，以检测发帖活动的变化。
• 对故障案例进行人工分析，识别常见错误模式，如幻觉或对框架特定语法的误解。

实验结果

研究问题

• RQ1 ChatGPT的发布如何影响Stack Overflow上的用户发帖活动？
• RQ2 LLM生成的答案与人工验证答案相比，其可靠性如何？
• RQ3 LLM在哪些编程领域表现不佳，原因是什么？
• RQ4 在答案质量与可靠性方面，ChatGPT与LLaMA的表现如何比较？
• RQ5 LLM在多大程度上可以替代人类维护的问答平台（如Stack Overflow）？

主要发现

• 在ChatGPT发布后，观察到Stack Overflow上的用户参与度显著下降，相关研究报告发帖活动下降了15.6%。
• ChatGPT在与人工答案的文本相似度方面优于LLaMA，尤其是在通用编程问题上。
• 尽管是免费的开源模型，LLaMA表现强劲，使其在通用用途中成为可行的替代方案。
• LLM在框架与库特定的问题上表现显著不佳，导致回答不准确或具有误导性。
• 在某些主题（如通用算法与调试）上，LLM在正确性与清晰度方面达到或超过人类表现。
• 收到LLM不令人满意的回答的用户更可能返回Stack Overflow，表明LLM与人类社区之间存在互补而非替代关系。