[논문 리뷰] The Role of Generative AI in Software Development Productivity: A Pilot Case Study

Mariana Coutinho, Lorena Marques외 4명|arXiv (Cornell University)|2024. 06. 01.

Big Data and Business Intelligence인용 수 6

한 줄 요약

파일럿 사례 연구는 생성형 AI 도구가 역할 전반에 걸쳐 소프트웨어 개발 생산성에 어떤 영향을 미치는지 조사하고, 신뢰성과 보안 문제와 함께 일반적으로 긍정적인 인식상의 이익을 발견했다.

ABSTRACT

With software development increasingly reliant on innovative technologies, there is a growing interest in exploring the potential of generative AI tools to streamline processes and enhance productivity. In this scenario, this paper investigates the integration of generative AI tools within software development, focusing on understanding their uses, benefits, and challenges to software professionals, in particular, looking at aspects of productivity. Through a pilot case study involving software practitioners working in different roles, we gathered valuable experiences on the integration of generative AI tools into their daily work routines. Our findings reveal a generally positive perception of these tools in individual productivity while also highlighting the need to address identified limitations. Overall, our research sets the stage for further exploration into the evolving landscape of software development practices with the integration of generative AI tools.

연구 동기 및 목표

• 소프트웨어 개발에서 생산성을 다면적 구성으로 이해하도록 동기를 부여한다.
• 생성형 AI 도구가 산업 현장의 실제 소프트웨어 프로젝트에 어떻게 통합될 수 있는지 탐구한다.
• 코딩, 설계, 데이터 사이언스 및 관련 활동에 걸친 전문가들을 대상으로 생성형 AI의 사용처, 이점 및 도전 과제를 식별한다.
• AI 지원 소프트웨어 개발에 대한 더 넓고 종단적 연구를 안내할 예비 인사이트를 제공한다.

제안 방법

• 다양한 팀이 있는 대형 소프트웨어 회사에서 수행된 사례 연구.
• 개방형 질문이 포함된 설문지와 커뮤니케이션 채널(Slack 등)에서의 관찰을 통해 데이터를 수집했다.
• 파일럿은 4주 기간 동안 ChatGPT, OpenAI API, Midjourney, GitHub Copilot 등의 도구를 사용하는 14명의 자원봉사자(13명 완료)로 구성되었다.
• 사용성, 생산성, 이점 및 도전 과제와 관련된 패턴을 식별하기 위해 행별 코딩(line-by-line coding) 및 주제 분석을 사용한 질적 데이터 분석.

실험 결과

연구 질문

• RQ1 생성형 AI 도구의 통합이 다양한 역할과 활동에 걸친 소프트웨어 전문가의 업무에 어떤 영향을 미치는가?
• RQ2 이 도구들이 생산성에 미치는 인지된 영향은 무엇이며, 시간 효율성 및 가치 창출을 포함하는가?
• RQ3 소프트웨어 개발에서 생성형 AI를 도입할 때 사용자가 보고하는 이점과 도전 과제는 무엇인가?
• RQ4 신뢰성, 프롬프트 정밀도, 출처, 보안 등과 같은 이슈가 AI 지원 작업에 어떻게 영향을 미치는가?

주요 결과

• Generative AI 도구는 산출물 생성/검토, 아이디어 구상 지원, 코드 구성에 대한 의심 해소, 형식적 글쓰기를 돕는 데 사용된다.
• 참여자들은 AI 도구의 주요 이점으로 시간 최적화와 다재다능함을 보고한다.
• 신뢰성, 프롬프트 정밀도, 출처 부족, 보안 우려가 직면한 주요 도전 과제이다.
• 대부분의 참여자는 생산성에 긍정적인 영향을 인지하며, 더 빠른 콘텐츠 생성과 지식 습득으로 도움을 받지만 산출물은 종종 수동으로 다듬어야 한다.
• 도구는 여러 작업을 단일 워크플로로 통합할 수 있어 한계에도 불구하고 효율성 및 학습에 기여한다.