[논문 리뷰] AI Tool Use and Adoption in Software Development by Individuals and Organizations: A Grounded Theory Study

Ze Shi Li, Nowshin Nawar Arony외 3명|arXiv (Cornell University)|2024. 06. 25.

Impact of AI and Big Data on Business and SocietyDecision Sciences인용 수 3

한 줄 요약

이 기반 이론 연구는 소프트웨어 개발에서 AI 도구 채택에 영향을 미치는 개인 및 조직의 동기와 과제를 조사한다. 26명의 인터뷰와 395명의 전문가 대상 설문 조사로, 개인 동기 2개와 조직 동기 3개, 개인 과제 4개와 조직 과제 3개, 그리고 채택을 이끄는 3개의 푸시-풀 관계를 규명하였다. 이는 엔지니어링 팀 내 AI 도구 통합을 향상시키기 위한 실질적인 통찰을 제공한다.

ABSTRACT

AI assistance tools such as ChatGPT, Copilot, and Gemini have dramatically impacted the nature of software development in recent years. Numerous studies have studied the positive benefits that practitioners have achieved from using these tools in their work. While there is a growing body of knowledge regarding the usability aspects of leveraging AI tools, we still lack concrete details on the issues that organizations and practitioners need to consider should they want to explore increasing adoption or use of AI tools. In this study, we conducted a mixed methods study involving interviews with 26 industry practitioners and 395 survey respondents. We found that there are several motives and challenges that impact individuals and organizations and developed a theory of AI Tool Adoption. For example, we found creating a culture of sharing of AI best practices and tips as a key motive for practitioners' adopting and using AI tools. In total, we identified 2 individual motives, 4 individual challenges, 3 organizational motives, and 3 organizational challenges, and 3 interleaved relationships. The 3 interleaved relationships act in a push-pull manner where motives pull practitioners to increase the use of AI tools and challenges push practitioners away from using AI tools.

연구 동기 및 목표

• 소프트웨어 개발에서 AI 도구 채택에 영향을 미치는 요인을 이해하는 것.
• Copilot 및 ChatGPT와 같은 AI 도구를 채택하도록 이끄는 특정 동기를 특정하는 것.
• 소프트웨어 공학 워크플로우에서 효과적이고 안전한 AI 도구 사용을 저해하는 과제를 밝혀내는 것.
• 개인적 요인과 조직적 요인 간의 상호작용을 반영하는 AI 도구 채택의 기반 이론을 수립하는 것.
• 훈련, 지침, 조직 문화를 통해 AI 도구 채택을 향상시키기 위한 근거 기반 권고를 제공하는 것.

제안 방법

• 다양한 역할, 조직, 지리적 위치를 가진 26명의 소프트웨어 전문가를 대상으로 반구조화된 인터뷰를 실시하였다.
• 이론적 탄력성에 도달할 때까지 반복적으로 코드화, 메모 작성, 데이터 비교를 수행하기 위해 사회기술 기반 이론(STGT)을 적용하였다.
• 이론적 범주와 관계의 타당성을 검증하기 위해 395명의 소프트웨어 전문가를 대상으로 설문 조사를 실시하여 신뢰성과 일반화 가능성을 확보하였다.
• 인터뷰 녹음은 Otter.ai를, 데이터 수집은 SurveyMonkey를 사용하여 투명성과 재현 가능성을 확보하였다.
• 신뢰성, 분석 가능성, 투명성, 유용성의 총합 신뢰도 프레임워크를 활용하여 타당성을 평가하고 연구 위협을 최소화하였다.
• 재현 가능성을 지원하기 위해 인터뷰 질문, 코드북, 설문지 도구를 포함한 복제 패키지를 공개하였다.

실험 결과

연구 질문

• RQ1 소프트웨어 개발에서 AI 도구 채택에 영향을 미치는 개인 및 조직의 동기는 무엇인가요?
• RQ2 소프트웨어 공학에서 AI 도구의 효과적 사용과 채택을 저해하는 개인 및 조직의 과제는 무엇인가요?
• RQ3 동기와 과제가 AI 도구 사용에 영향을 미치는 푸시-풀 역학으로서 어떻게 상호작용합니까?
• RQ4 조직 정책, 훈련, 문화는 전문가의 AI 도구 채택과 사용 방식에 어떤 역할을 합니까?

주요 결과

• 전문가들은 주로 생산성 향상의 욕구와 팀 내 최선의 실천 방법 및 팁 공유 기회로 인해 AI 도구를 사용하도록 유도된다.
• 구조적인 AI 훈련과 명확한 사용 지침을 제공하는 조직은 전문가의 도구 채택률과 사용에 대한 자신감을 크게 높인다.
• 주요 개인 과제로는 훈련 부족, 프롬프트 효과성에 대한 불확실성, 코드 품질에 대한 우려, 데이터 泄露와 관련된 개인정보 위험 등이 있다.
• 조직 과제로는 공식적인 AI 정책 부재, 윤리적 지침 부족, 안전한 AI 사용을 지원할 수 있는 인프라 부족 등이 있다.
• 세 가지 푸시-풀 관계가 규명되었다: (1) 생산성 향상에 대한 동기 vs. 코드 품질 문제에 대한 두려움, (2) 지식 공유 욕구 vs. 지적 재산권에 대한 우려, (3) 조직적 지원 vs. 거버넌스 부재.
• 395명의 설문 응답자가 이론적 범주를 확인하여, 규명된 동기와 과제가 일반적인 전문가 경험을 대표하고 있음을 검증하였다.