[논문 리뷰] The Transformative Influence of LLMs on Software Development & Developer Productivity

Sajed Jalil|arXiv (Cornell University)|2023. 11. 28.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 소프트웨어 개발, 특히 AI 페어 프로그래밍 보조자로서의 역할에 미친 변혁적 영향을 조사한다. 신뢰성, 편향, 사용성, 코드 품질 등의 주요 과제를 밝히며, 모든 수준의 개발자가 더 신뢰할 수 있고 포괄적이며 효과적으로 사용할 수 있도록 하는 데 향후 연구를 이끌어줄 12개의 열린 문제를 제안한다.

ABSTRACT

The increasing adoption and commercialization of generalized Large Language Models (LLMs) have profoundly impacted various aspects of our daily lives. Initially embraced by the computer science community, the versatility of LLMs has found its way into diverse domains. In particular, the software engineering realm has witnessed the most transformative changes. With LLMs increasingly serving as AI Pair Programming Assistants spurred the development of specialized models aimed at aiding software engineers. Although this new paradigm offers numerous advantages, it also presents critical challenges and open problems. To identify the potential and prevailing obstacles, we systematically reviewed contemporary scholarly publications, emphasizing the perspectives of software developers and usability concerns. Preliminary findings underscore pressing concerns about data privacy, bias, and misinformation. Additionally, we identified several usability challenges, including prompt engineering, increased cognitive demands, and mistrust. Finally, we introduce 12 open problems that we have identified through our survey, covering these various domains.

연구 동기 및 목표

• AI 페어 프로그래밍 보조자 도입에 따라 변화하는 소프트웨어 개발 추세를 분석하기 위해.
• 소프트웨어 공학 워크플로우에서 LLM의 효과성과 사용성에 영향을 주는 요인들을 분류하기 위해.
• 실증 연구를 바탕으로 현재의 AI 페어 프로그래밍 도구의 강점과 한계를 평가하기 위해.
• LLMs를 위한 소프트웨어 개발 분야에서 12개의 핵심 열린 문제를 규명하고 명확히 하기 위해.

제안 방법

• 소프트웨어 공학 및 HCI 분야의 정상급 컨ferences 및 저널에서 발표된 16篇의 학술 논문에 대한 체계적 리뷰.
• 출판 장소, 평가된 도구, 산업 분야의 참여 여부, 참가자 수, 평가 방법론을 기준으로 연구를 분류.
• 사용자 연구에서 보고된 사용성, 신뢰성, 편향, 정신 모델 일치 문제에 대한 주제 분석.
• 특히 초보자 개발자와 실제 환경 배포 사례에 초점을 맞춰, 여러 연구의 결과를 통합하여 반복적인 과제를 도출.
• 현재 연구의 격차에서 유래한 12개의 열린 문제 제안 — 데이터 품질, 검증, 정신 모델 일치 등 포함.
• 기존 평가 데이터셋(예: HumanEval)의 벤치마킹을 통해 실세계 LLM 성능 테스트에서의 한계 평가.

실험 결과

연구 질문

• RQ1 LLMs는 현재 소프트웨어 개발 워크플로우에 어떻게 통합되고 있으며, 주로 어떤 작업을 보조하는가?
• RQ2 AI 페어 프로그래밍 보조자 사용 시 개발자가 겪는 사용성 과제는 무엇이며, 특히 프롬프트 엔지니어링과 인지 부하 측면에서 어떻게 나타나는가?
• RQ3 신뢰성, 편향, 오보정보가 LLM이 생성한 코드의 개발자 수용도와 신뢰성에 얼마나 큰 영향을 미치는가?
• RQ4 현재 AI 페어 프로그래밍 도구 평가 관행의 핵심 격차는 무엇이며, 어떻게 실제 워크플로우의 복잡성을 반영하지 못하는가?
• RQ5 LLMs를 어떻게 더 초보자 개발자와 비CS 전문가에게도 접근 가능하고 효과적으로 만들 수 있는가?

주요 결과

• GitHub Copilot 및 CodeLlama와 같은 AI 페어 프로그래밍 도구는 널리 보급되었지만, 더 큰 또는 더 복잡한 작업에 대해서는 신뢰할 수 없다는 평가를 자주 받는다.
• 많은 연구에서 AI가 생성한 코드에 컴파일 오류가 존재하고 명확성이 떨어지며, 출력 품질이 열악하다고 보고하고 있다.
• 일관성 없는 응답과 검증 불가능성으로 인해, 특히 중요한 또는 대규모 코드에 대해서는 개발자들이 LLM에 대한 신뢰를 크게 가지지 못하고 있다.
• 대부분의 사용성 연구는 일반화에 한계가 있는 소규모이고 동질적인 참가자 집단(일般적으로 15~30명)을 대상으로 하며, 주로 대학원생들로 구성되어 있다.
• HumanEval과 같은 기존 벤치마크 데이터셋은 주로 소규모이고 고립된 코드 생성 작업을 테스트하며, 반복적이고 상호작용적인 개발 워크플로우를 반영하지 못하고 있다.
• 대규모 모델에 특화된 체계적인 편향 완화 전략이 부족하며, 현재의 접근 방식은 글로벌하고 다양한 소프트웨어 개발 환경에 부적합하다.