[논문 리뷰] How much does AI impact development speed? An enterprise-based randomized controlled trial

Elise Paradis, Kate Grey외 7명|arXiv (Cornell University)|2024. 10. 16.

Artificial Intelligence in Healthcare and EducationMedicine인용 수 3

한 줄 요약

이 기업 기반의 무작위 대조 시험에서 96명의 구글 소프트웨어 엔지니어를 대상으로 AI 코딩 기능 세 가지—AI 코드 완성, 스마트 페이스트, 자연어에서 코드로—가 개발 속도에 미치는 영향을 평가하였다. 연구 결과 AI는 임의로 추정된 21%의 작업 시간 감소를 보였으며, 특히 경험이 많은 개발자가 더 많은 혜택을 보이는 상호작용 효과가 있었지만, 신뢰구간은 넓었다.

ABSTRACT

How much does AI assistance impact developer productivity? To date, the software engineering literature has provided a range of answers, targeting a diversity of outcomes: from perceived productivity to speed on task and developer throughput. Our randomized controlled trial with 96 full-time Google software engineers contributes to this literature by sharing an estimate of the impact of three AI features on the time developers spent on a complex, enterprise-grade task. We found that AI significantly shortened the time developers spent on task. Our best estimate of the size of this effect, controlling for factors known to influence developer time on task, stands at about 21\%, although our confidence interval is large. We also found an interesting effect whereby developers who spend more hours on code-related activities per day were faster with AI. Product and future research considerations are discussed. In particular, we invite further research that explores the impact of AI at the ecosystem level and across multiple suites of AI-enhanced tools, since we cannot assume that the effect size obtained in our lab study will necessarily apply more broadly, or that the effect of AI found using internal Google tooling in the summer of 2024 will translate across tools and over time.

연구 동기 및 목표

• 복잡한 엔터프라이즈 수준의 소프트웨어 개발 작업을 수행하는 데 소요되는 시간에 대해 AI 강화 개발 도구의 영향을 추정하기.
• 개발자 수준 및 작업 수준의 특성이 AI가 개발 속도에 미치는 영향을 어떻게 조절하는지 조사하기.
• AI 사용 패턴이나 사용자 전문성 수준이 특히 고성능·현실 기반 개발 환경에서 생산성 향상에 영향을 주는지 탐색하기.
• 개발자 경험 수준과 워크플로우 맥락에 따라 차이가 나는 영향을 파악함으로써 제품 설계 및 향후 연구에 통찰을 제공하기.
• 기존 문헌의 격차를 해소하기 위해 실제 기업 환경에서 실질적인 작업과 도구를 사용한 통제된 대규모 연구를 수행하기.

제안 방법

• 96명의 정규 구글 소프트웨어 엔지니어를 대상으로 무작위 대조 시험(RCT)을 실시하였으며, AI 그룹 또는 대조 그룹으로 무작위 배정하였다.
• 사내 전용 도구를 사용: AI 코드 완성, 스마트 페이스트, 자연어에서 코드로, 개발자들의 표준 워크플로우에 통합되었다.
• 실제 인프라에서 코드 작성, 빌드 파일 업데이트, 테스트를 포함한 복잡한 엔터프라이즈 수준의 개발 작업에 대해 작업 시간을 측정하였다.
• 개발자 및 작업 수준의 공변량을 제어한 상태에서 AI의 영향을 평가하기 위해 t-검정과 선형 회귀를 적용하였다.
• 이론적 프레임워크를 기반으로 한 다변량 회귀 분석을 통해 탄력성과 상호작용 효과를 테스트하였다.
• 사용 로그와 자가 보고 데이터를 분석하여 AI 사용 빈도와 성능 간의 관계를 탐색하였지만, 통계적 검정력이 낮았다.

Figure 1: AI Code Completion in Cider V. When a user starts typing code, the feature auto-completes the code block in light-grey font based on the context provided. After typing the first line of a new function to be evaluated at compile time, the user starts to type the return logic and the AI Code

실험 결과

연구 질문

• RQ1 RQ1: AI는 엔터프라이즈 수준의 개발 작업을 수행하는 데 소요되는 시간에 어떤 영향을 미치는가?
• RQ2 RQ2: 개발자 및 작업 특성이 AI 보조 기능이 작업 시간에 미치는 영향을 어떻게 조절하는가?
• RQ3 RQ3: 개발자 및 작업 특성이 AI 사용과 어떻게 상호작용하여 특정 개발자의 속도를 빠르게 하거나 늦추는가?
• RQ4 RQ4: AI 도구 사용 빈도가 증가할수록 작업 속도 향상과 상관관계가 있는가?
• RQ5 RQ5: 이론적 기대와는 달리 작업 도메인 전문성과 프로그래밍 언어 숙련도가 작업 속도의 유의미한 예측변수로 나타나지 않은 이유는 무엇인가?

주요 결과

• AI가 개발 속도에 미치는 최적 추정 영향은 작업 시간을 약 21% 감소시키는 것이었지만, 95% 신뢰구간은 넓었다.
• 하루에 코드 관련 활동에 더 많은 시간을 할애하는 개발자가 AI 보조 기능에서 더 큰 혜택을 보이는 통계적으로 유의미한 상호작용 효과가 있었다.
• AI 도구 사용 빈도와 작업 속도 사이에 통계적으로 유의미한 관계가 없었으며, 이는 도구의 포화 효과 또는 사용성 하한선이 존재할 수 있음을 시사한다.
• 연구 결과에 따르면 작업 도메인 전문성이나 프로그래밍 언어 숙련도는 작업 시간에 유의미한 영향을 주지 않았다. 이는 표본의 동질성 때문일 수 있다.
• AI 도구는 형평성 문제의 잠재적 원인이 될 수 있다: 고급 개발자가 더 많은 이점을 얻을 수 있어, 전문성 상실과 고급 기능에 대한 접근성에 대한 질문을 제기한다.
• 결과는 고속도로 개발자를 지원하면서 인지 부하를 증가시키지 않는 '전문가 모드'와 AI 도구 간의 지식 전이를 향상시킬 필요가 있음을 시사한다.

Figure 2: Smart Paste feature in Cider V. When a user pastes code, Smart Paste provides an automatic adjustment to the code, then shows the inline diff highlights the removal of tryfromenv (strikethrough) and the insertion of flagfile (italic and lower opacity). The user can accept the adjustment us