[논문 리뷰] Study of software developers' experience using the Github Copilot Tool in the software development process

Mateusz Jaworski, Dariusz Piotrkowski|arXiv (Cornell University)|2023. 01. 12.

Software Engineering Research인용 수 4

한 줄 요약

이 연구는 소프트웨어 개발자 42명을 대상으로 한 설문 조사로, AI 기반 코드 생성 도구인 GitHub Copilot을 사용한 경험을 조사한다. 도구의 개발 속도 향상 잠재력에 대한 긍정적인 평가에도 불구하고, 개발자 중 14.3%만이 이를 사용했으며, 주로 데이터 보안, 저작권, 코드 품질에 대한 우려로 인해 사용이 제한되었다. 공식 보장에도 불구하고 이러한 우려는 여전히 지속되고 있다.

ABSTRACT

In software development there is a constant pressure to produce code faster and faster without compromising on quality. New tools supporting developers are created in response to this demand. Currently a new generation of such solutions is about to be launched - Artificial Intelligence driven tools. On 29 June 2021 Github Copilot was announced. It uses trained model to generate code based on human understandable language. The focus of this research was to investigate software developers' approach to this tool. For this purpose a survey containing 18 questions was prepared and shared with programmers. A total of 42 answers were gathered. The results of the research indicate that developers' opinions are divided. Most of them met Github Copilot before attending the survey. The attitude to the tool was mostly positive but not many participants were willing to use it. Concerns are caused by security issues associated with using of Github Copilot.

연구 동기 및 목표

• 소프트웨어 개발자들이 일상 개발 워크플로우에서 GitHub Copilot에 대해 경험하고 있는 바, 그리고 그에 대한 태도를 이해하는 것.
• 개발자들이 GitHub Copilot이 소프트웨어 공학 분야의 생산성과 향후 고용 전망에 미치는 영향을 어떻게 평가하고 있는지 평가하는 것.
• AI 생성 코드와 관련된 보안, 데이터 泄露, 코드 품질에 관한 우려를 조사하는 것.
• 다양한 개발자 경력 수준과 전문 분야(예: 프론트엔드, 백엔드, 패스트랙)에서 도구의 유용성 인식을 평가하는 것.

제안 방법

• 경험 많은 소프트웨어 개발자들이 설문지를 기획하였으며, 명확성과 관련성에 대해 검토하였다.
• 설문지를 통해 개발자들의 이전 GitHub Copilot 노출 경험, 사용 패턴, 기대되는 이점, 우려 사항을 수집하였다.
• 개발자 프로필(경력 수준, 전문 분야)에 따라 빈도 분포와 교차표 분석을 통해 정량적 분석을 실시하였다.
• 개방형 응답은 주제 분석을 통해 도구의 유용성, 한계, 윤리적 우려에 대한 세부적인 의견을 포착하였다.
• 연구는 자가 보고된 경험과 태도에 중점을 두었으며, 보안 및 신뢰 문제를 중심으로 다뤘다.
• 기존의 프로그래밍 분야의 AI 연구 및 이전의 유사 도구(유전적 프로그래밍, 코드 완성 시스템 등)의 문헌과 비교하여 결과를 맥락화하였다.

Figure 1: Hearing about GitHub Copilot

실험 결과

연구 질문

• RQ1 소프트웨어 개발자들은 GitHub Copilot에 얼마나 익숙한가? 실제 사용 수준은 어떠한가?
• RQ2 개발자들이 GitHub Copilot을 개발 과정에 도입하는 데 주로 어떤 동기나 장벽을 느끼는가?
• RQ3 다양한 경력 수준에서 개발자들은 GitHub Copilot이 소프트웨어 개발 생산성과 향후 고용 전망에 어떤 영향을 미친다고 보는가?
• RQ4 개발자들은 AI 생성 제안으로 인한 데이터 泄露 및 코드 품질에 대해 주로 어떤 보안 및 윤리적 우려를 느끼는가?
• RQ5 다양한 프로그래밍 전문 분야(예: 프론트엔드, 백엔드, 패스트랙)에서 GitHub Copilot에 대한 인식은 어떻게 다름이 있는가?

주요 결과

• 설문 대상 개발자 중 85.7%는 GitHub Copilot을 사용하지 않았으며, 이 중 66.7%는 설문 이전에 도구를 들어본 바가 있었다.
• 응답자 중 오직 14.3%만이 도구를 사용했으며, 주로 테스트, 학습, 오픈소스 기여와 같은 비상업적 목적에서였다.
• 85.7%의 개발자가 도구를 더 테스트해보고 싶다고 표현했지만, 실제로 이를 원하는 사람은 38.1%에 그쳐, 인식된 가치와 실제 도입 간 격차가 있음을 시사한다.
• 약 31%의 개발자가 프로젝트에서의 데이터 泄露에 대해 우려를 표명했으며, 16.7%는 불확실하다고 답했고, 오직 13%만이 걱정하지 않는다고 답하여 여전한 신뢰 문제를 드러낸다.
• 대부분의 개발자(50%)는 GitHub Copilot이 자신의 고용에 영향을 주지 않을 것으로 보았지만, 신입 개발자들은 부정적 영향을 더 많이 느끼는 경향이 있어 일자리 대체에 대한 우려가 있음을 시사한다.
• 공식 보장에도 불구하고 40%의 개발자가 여전히 데이터 보안에 대해 회의적일 뿐 아니라, 보안 및 저작권 문제는 도입의 주요 장벽으로 작용하고 있다.

Figure 2: Usage of GitHub Copilot among the respondents