[논문 리뷰] Navigating the Complexity of Generative AI Adoption in Software Engineering

Daniel Russo|arXiv (Cornell University)|2023. 07. 12.

Big Data and Business Intelligence인용 수 18

한 줄 요약

논문은 수렴적 혼합 방법 설계를 사용하여 소프트웨어 공학에서 Generative AI/LLMs의 채택을 모델링하고, 초기 단계에서 주로 작업 흐름 호환성이 채택을 주도하며, 유용성과 사회적 요인이 더 작은 역할을 한다는 것을 밝혀낸다.

ABSTRACT

In this paper, the adoption patterns of Generative Artificial Intelligence (AI) tools within software engineering are investigated. Influencing factors at the individual, technological, and societal levels are analyzed using a mixed-methods approach for an extensive comprehension of AI adoption. An initial structured interview was conducted with 100 software engineers, employing the Technology Acceptance Model (TAM), the Diffusion of Innovations theory (DOI), and the Social Cognitive Theory (SCT) as guiding theories. A theoretical model named the Human-AI Collaboration and Adaptation Framework (HACAF) was deduced using the Gioia Methodology, characterizing AI adoption in software engineering. This model's validity was subsequently tested through Partial Least Squares - Structural Equation Modeling (PLS-SEM), using data collected from 183 software professionals. The results indicate that the adoption of AI tools in these early integration stages is primarily driven by their compatibility with existing development workflows. This finding counters the traditional theories of technology acceptance. Contrary to expectations, the influence of perceived usefulness, social aspects, and personal innovativeness on adoption appeared to be less significant. This paper yields significant insights for the design of future AI tools and supplies a structure for devising effective strategies for organizational implementation.

연구 동기 및 목표

• 소프트웨어 공학에서 Generative AI 도구의 채택에 어떤 요인이 영향을 미치는지 조사한다.
• 확립된 이론(TAM, DOI, SCT)을 이용하여 개인적, 기술적, 사회적 관점을 통합한다.
• 소프트웨어 공학에서 인간-AI 협업 및 적응에 대한 이론적 모델(HACAF)을 개발하고 검증한다.
• 소프트웨어 팀에서의 효과적인 AI 도구 구현을 위한 설계 및 조직 지침을 제공한다.

제안 방법

• 정량적 설문조사와 질적 분석을 결합한 수렴적 혼합 방법을 적용한다.
• 연구를 Technology Acceptance Model (TAM), Diffusion of Innovation (DOI), 및 Social Cognitive Theory (SCT)에 기반한다.
• 질적 데이터로부터 이론 귀납을 위한 Gioia 방법론과 모델 검증을 위한 PLS-SEM을 사용한다.
• 100명의 소프트웨어 엔지니어로부터 데이터(설문조사)를 수집하고 183명의 소프트웨어 엔지니어로 PLS-SEM 검증을 수행한다.
• 주제 분석과 반복적 코딩을 수행하여 1차 개념, 2차 주제, 총괄 차원을 도출한다.

실험 결과

연구 질문

• RQ1 소프트웨어 공학에서 Generative AI 도구의 채택에 영향을 미치는 요인은 무엇인가?

주요 결과

• 채택은 AI 도구의 기존 개발 워크플로우와의 호환성에 주로 좌우된다.
• 지각된 유용성, 사회적 요인, 개인적 혁신성이 초기 채택 단계에서 더 약한 영향을 미친다.
• 이론적 모델인 Human-AI Collaboration and Adaptation Framework (HACAF)가 개발되고 검증되었다.
• 연구 결과는 소프트웨어 공학에서의 AI 도구 설계 및 조직적 구현 전략에 대한 지침을 제시한다.