[논문 리뷰] LLMs and Stack Overflow Discussions: Reliability, Impact, and Challenges

Léuson Da Silva, Jordan Samhi외 1명|arXiv (Cornell University)|2024. 02. 13.

Artificial Intelligence in Healthcare and EducationMedicine인용 수 3

한 줄 요약

이 사례 기반 연구는 ChatGPT와 LLaMA가 실제 Stack Overflow 질문에 답변을 생성할 때 영향력, 신뢰성 및 도전 과제를 평가한다. 질문과 전문가가 검증한 답변으로 구성된 데이터셋을 사용하여, 저자들은 일반 프로그래밍 문제에 대해서는 두 LLM 모두 양호한 성능을 보였지만, 프레임워크나 라이브러리 전용 질문에서는 성능이 떨어지며, 이들의 등장과 함께 Stack Overflow의 사용자 참여도가 심각하게 감소한 것으로 확인했다. 이는 인간이 관리하는 개발자 커뮤니티의 대체로는 아직 신뢰할 만하지 않음을 시사한다.

ABSTRACT

Since its release in November 2022, ChatGPT has shaken up Stack Overflow, the premier platform for developers queries on programming and software development. Demonstrating an ability to generate instant, human-like responses to technical questions, ChatGPT has ignited debates within the developer community about the evolving role of human-driven platforms in the age of generative AI. Two months after ChatGPT release, Meta released its answer with its own Large Language Model (LLM) called LLaMA: the race was on. We conducted an empirical study analyzing questions from Stack Overflow and using these LLMs to address them. This way, we aim to (i) quantify the reliability of LLMs answers and their potential to replace Stack Overflow in the long term; (ii) identify and understand why LLMs fail; (iii) measure users activity evolution with Stack Overflow over time; and (iv) compare LLMs together. Our empirical results are unequivocal: ChatGPT and LLaMA challenge human expertise, yet do not outperform it for some domains, while a significant decline in user posting activity has been observed. Furthermore, we also discuss the impact of our findings regarding the usage and development of new LLMs and provide guidelines for future challenges faced by users and researchers.

연구 동기 및 목표

• ChatGPT와 LLaMA와 같은 대규모 언어 모델(LMs)이 Stack Overflow의 사용자 참여도에 미치는 영향을 평가하기 위해.
• Stack Overflow에서 인간이 검증한 답변과 비교하여 LLM이 생성한 답변의 신뢰성을 측정하기 위해.
• 특히 복잡한 소프트웨어 개발 도메인에서 LLM 답변의 실패 패턴과 과제를 특정하기 위해.
• 다양한 유형의 프로그래밍 질문에서 두 주요 LLM인 ChatGPT와 LLaMA의 성능을 비교하기 위해.
• 장기적으로 복잡한 소프트웨어 개발 질문에 대한 인간 중심의 Q&A 플랫폼인 Stack Overflow를 LLM이 실제로 대체할 수 있는지 이해하기 위해.

제안 방법

• 연구는 프로그래밍 언어, 프레임워크, 라이브러리 등 주제에 중점을 두고 1,000개의 실제 Stack Overflow 질문을 추출했다.
• 각 질문에 대해 표준화된 프롬프트 기법을 사용하여 ChatGPT와 LLaMA가 답변을 생성하도록 하였다.
• 답변의 텍스트 유사도를 임베딩 기반 메트릭(예: BERTScore, BLEU)을 사용하여 기준답안과 평가하였다.
• 전문가 리뷰어들이 답변 품질과 정확도를 평가하여 신뢰성 평가의 기준이 되는 진실값을 확립하였다.
• ChatGPT 출시 전후의 Stack Overflow 사용자 참여 추세를 분석하여 게시 활동의 변화를 탐지하였다.
• 실패 사례를 수작업으로 분석하여 환상 생성 또는 프레임워크 전용 문법을 오해하는 등의 일반적인 오류 패턴을 식별하였다.

실험 결과

연구 질문

• RQ1 ChatGPT의 출시 이후 Stack Overflow의 사용자 게시 활동에 어떤 영향을 미쳤는가?
• RQ2 LLM이 생성한 답변은 Stack Overflow에서 인간이 검증한 답변과 비교해 얼마나 신뢰할 수 있는가?
• RQ3 어느 프로그래밍 도메인에서 LLM의 성능이 떨어지며, 그 이유는 무엇인가?
• RQ4 답변 품질과 신뢰성 측면에서 ChatGPT와 LLaMA는 어떻게 비교되는가?
• RQ5 LLM이 장기적으로 Stack Overflow와 같은 인간 중심의 Q&A 플랫폼을 얼마나 대체할 수 있는가?

주요 결과

• ChatGPT 출시 이후 Stack Overflow의 사용자 참여도가 유의미하게 감소한 것으로 관찰되었으며, 관련 연구에서 15.6%의 게시 활동 감소가 보고되었다.
• 텍스트 유사도 측면에서 ChatGPT는 일반 프로그래밍 질문에서 LLaMA를 앞서며 더 우수한 성능을 보였다.
• LLaMA는 무료로 공개된 오픈소스 모델임에도 불구하고 강력한 성능을 보였으며, 일반 용도로도 실용적인 대안이 되었다.
• LLM은 프레임워크나 라이브러리 전용 질문에서 심각한 어려움을 겪어 정확하거나 오해의 소지가 있는 답변을 생성하였다.
• 일반 알고리즘과 디버깅과 같은 특정 주제에서는 LLM이 인간의 성능을 따라하거나 뛰어넘는 정확도와 명확성에서 우수한 성능을 보였다.
• LLM으로부터 만족스럽지 못한 답변을 받은 사용자들은 더 이상 Stack Overflow로 돌아오는 경향이 있었으며, 이는 LLM이 인간 중심의 플랫폼을 대체하기보다는 보완하는 역할을 한다는 것을 시사한다.