[논문 리뷰] Transforming Software Development with Generative AI: Empirical Insights on Collaboration and Workflow

Rasmus Ulfsnes, Nils Brede Moe외 2명|arXiv (Cornell University)|2024. 02. 12.

Scientific Computing and Data Management인용 수 4

한 줄 요약

이 논문은 13명의 개발자, 데이터 과학자, 디자이너를 대상으로 한 실증적 인터뷰를 통해 생성형 AI(Generative AI, GenAI)가 소프트웨어 개발 워크플로우와 팀 협업 방식을 어떻게 변화시키는지 탐구한다. 연구 결과 GenAI는 반복 작업을 자동화함으로써 개인의 생산성과 동기를 높이지만, 팀 학습 루프를 방해하고 동료 간 협업을 감소시킬 위험이 있음이 밝혀졌다. 다만 '페어 프롬프트 엔지니어링'이라는 새로운 협업 방식이 등장하여 이에 대체하고 있음이 확인되었다.

ABSTRACT

Generative AI (GenAI) has fundamentally changed how knowledge workers, such as software developers, solve tasks and collaborate to build software products. Introducing innovative tools like ChatGPT and Copilot has created new opportunities to assist and augment software developers across various problems. We conducted an empirical study involving interviews with 13 data scientists, managers, developers, designers, and frontend developers to investigate the usage of GenAI. Our study reveals that ChatGPT signifies a paradigm shift in the workflow of software developers. The technology empowers developers by enabling them to work more efficiently, speed up the learning process, and increase motivation by reducing tedious and repetitive tasks. Moreover, our results indicate a change in teamwork collaboration due to software engineers using GenAI for help instead of asking co-workers which impacts the learning loop in agile teams.

연구 동기 및 목표

• ChatGPT 및 Copilot와 같은 생성형 AI 도구가 소프트웨어 개발 워크플로우와 일상적 작업 방식을 어떻게 재편하고 있는지 이해하는 것.
• GenAI가 팀 협업, 특히 동료 상담에서 AI 지원 문제 해결으로의 전환에 미치는 영향을 분석하는 것.
• GenAI 도입이 애자일 환경에서 팀 학습 루프, 지식 공유, 장기적 팀 성과에 미치는 영향을 평가하는 것.
• 개인의 생산성 향상과 집단적 팀 분위기 및 직무 만족도 저하 사이의 균형을 탐색하는 것.

제안 방법

• 소프트웨어 팀의 개발자, 데이터 과학자, 디자이너, 관리자 등 다양한 역할을 맡은 13명의 전문가를 대상으로 반구조화된 인터뷰를 실시함.
• 일상 개발 작업에서 ChatGPT 및 GitHub Copilot와 같은 GenAI 도구의 실제 사용 패턴에 집중함.
• 작업 자동화와 동료 상호작용 감소와 관련된 워크플로우, 협업 방식, 일자리 만족도의 변화를 분석함.
• 기존의 페어 프로그래밍을 대체하는 새로운 협업 관행인 '페어 프롬프트 엔지니어링'과 같은 유형의 협업 관행을 식별함.
• 개념적 모델을 활용해 팀 학습 루프의 변화를 매핑하여 AI가 지식 공유와 팀 유대감에 미치는 영향을 평가함.
• 정성적 주제 분석을 통해 생산성, 동기, 팀 역학성에 대한 통찰을 도출함.

(a) Regular learning loop

실험 결과

연구 질문

• RQ1 생성형 AI 도구의 통합이 소프트웨어 개발자들의 일상 워크플로우와 작업 수행 패턴에 어떤 영향을 미쳤는가?
• RQ2 GenAI 사용이 애자일 소프트웨어 개발 팀 내 협업과 지식 공유에 어떤 방식으로 영향을 미치는가?
• RQ3 GenAI가 개인의 생산성, 동기, 일자리 만족도에 미치는 인식된 영향은 무엇인가?
• RQ4 인간 대 AI 상담으로의 전환이 팀 학습 루프와 장기적 팀 성과에 어떤 영향을 미치는가?
• RQ5 GenAI 도입에 대응하여 등장한 새로운 협업 관행, 예를 들어 '페어 프롬프트 엔지니어링'은 무엇인가?

주요 결과

• GenAI는 반복적인 코딩 작업에 소요되는 시간을 크게 줄여주며, 개발자가 고차원적 설계와 문제 해결에 집중할 수 있도록 돕는다.
• 개발자들은 반복적인 작업에서 비롯하는 부담 감소로 인해 동기와 생산성 향상을 느끼며, 이는 Meyer 등이 제시한 '좋은 하루' 프레임워크와 일치한다.
• 팀원 상담에서 GenAI 상담으로의 전환이 명백하게 이루어지고 있으며, 이는 팀 기반 학습과 지식 공유를 약화시킬 위험이 있다.
• 팀원 간 협업을 통해 서로 배우는 전통적인 팀 학습 루프는 AI가 동료 상호작용을 대체함에 따라 방해받거나 감소할 수 있다.
• 동료 상호작용 감소에도 불구하고 '페어 프롬프트 엔지니어링'과 같은 새로운 협업 패턴이 나타나며, 이는 AI와의 협업을 통해 지식 공유와 공동 문제 해결을 가능하게 한다.
• GenAI 도입은 개인이 고립된 모듈에 집중하는 등형 팀 구조로 이어질 수 있으며, 이는 팀 유대감과 공동 소유감을 약화시킬 수 있다.

(b) Disrupted learning loop