[논문 리뷰] What Guides Our Choices? Modeling Developers' Trust and Behavioral Intentions Towards GenAI

Rudrajit Choudhuri, Bianca Trinkenreich외 6명|arXiv (Cornell University)|2024. 09. 06.

Big Data and Business IntelligenceBusiness, Management and Accounting인용 수 3

한 줄 요약

이 연구는 개발자들이 genAI 도구를 신뢰하는 데 영향을 미치는 요소들을 규명하고, 이 신뢰가 행동의도에 미치는 영향을 검증하는 이론적 모델을 개발하였다. 주요 결과로는 genAI의 시스템/출력 품질, 기능적 가치, 목표 유지가 개발자들의 신뢰를 유의미하게 예측하며, 이 신뢰와 함께 인지 스타일(동기, 자기효능감, 위험 태도)이 genAI 도구 사용에 대한 행동의도를 이끌어낸다. 분석은 글로벌 기술 기업 소속 238명의 개발자로부터 수집한 설문 데이터를 기반으로 PLS-SEM 분석을 수행하였다.

ABSTRACT

Generative AI (genAI) tools, such as ChatGPT or Copilot, are advertised to improve developer productivity and are being integrated into software development. However, misaligned trust, skepticism, and usability concerns can impede the adoption of such tools. Research also indicates that AI can be exclusionary, failing to support diverse users adequately. One such aspect of diversity is cognitive diversity -- variations in users' cognitive styles -- that leads to divergence in perspectives and interaction styles. When an individual's cognitive style is unsupported, it creates barriers to technology adoption. Therefore, to understand how to effectively integrate genAI tools into software development, it is first important to model what factors affect developers' trust and intentions to adopt genAI tools in practice? We developed a theoretically grounded statistical model to (1) identify factors that influence developers' trust in genAI tools and (2) examine the relationship between developers' trust, cognitive styles, and their intentions to use these tools in their work. We surveyed software developers (N=238) at two major global tech organizations: GitHub Inc. and Microsoft; and employed Partial Least Squares-Structural Equation Modeling (PLS-SEM) to evaluate our model. Our findings reveal that genAI's system/output quality, functional value, and goal maintenance significantly influence developers' trust in these tools. Furthermore, developers' trust and cognitive styles influence their intentions to use these tools in their work. We offer practical suggestions for designing genAI tools for effective use and inclusive user experience.

연구 동기 및 목표

• 소프트웨어 개발 분야에서 생성형 AI(genAI) 도구에 대한 개발자들의 신뢰를 영향을 미치는 핵심 요인을 규명하는 것.
• 개발자들의 신뢰, 인지 스타일, 그리고 genAI 도구 사용에 대한 행동의도 간의 관계를 분석하는 것.
• 소프트웨어 공학 분야에서 genAI에 대한 신뢰와 행동의도를 위한 경험적 근거에 기반한 이론적 모델을 개발하는 것.
• 기술 수용 과정에서 인지 다양성을 핵심 요소로 고려함으로써 AI 설계의 포용성을 높이는 것.
• 개발 워크플로우에 genAI 도구를 공정하고 효과적으로 통합하는 데 도움이 되는 실용적 설계 지침을 제공하는 것.

제안 방법

• 기존 신뢰 이론(PICSE 프레임워크)과 인지 다양성 이론을 바탕으로 이론적 모델을 수립하였다.
• 두 개의 주요 글로벌 기술 기업 소속 총 238명의 소프트웨어 개발자로부터 설문 데이터를 수집하였다.
• 가설 검증 및 구성요소 간의 관계 평가를 위해 부분최소제곱구조방정식모형(PLS-SEM)을 적용하였다.
• 신뢰 관련 요인, 인지 스타일, 행동의도를 측정하기 위해 검증된 도구를 사용하였다.
• 설문 구성요소의 체계적 검증(신뢰성, 수렴성 및 구분 타당성)을 수행하였다.
• 데이터 품질 향상과 응답 편향 감소를 위해 주의 집중 검사, 무작위 질문 블록 배치 및 피LOT 테스트를 적용하였다.

Figure 1. PLS-SEM Model: Solid lines indicate item loadings and path coefficients (p $<$ 0.05); dashed lines represent non-significant paths. Reverse-coded items are suffixed with ‘-R’ (e.g., SE2-R). Latent constructs are depicted as circles and adjusted $R^{2}$ (Adj. $R^{2}$ ) values are reported f

실험 결과

연구 질문

• RQ1 소프트웨어 개발 분야에서 생성형 AI 도구에 대한 개발자들의 신뢰를 예측하는 요인은 무엇인가?
• RQ2 개발자들의 신뢰와 인지 스타일은 genAI 도구 사용에 대한 의도에 어떻게 연관되어 있는가?
• RQ3 시스템/출력 품질, 기능적 가치, 목표 유지가 genAI 도구에 대한 신뢰에 얼마나 큰 영향을 미치는가?
• RQ4 특히 내재적 동기, 컴퓨터 자기효능감, 위험 태도와 같은 인지 스타일은 genAI 도구 사용에 대한 행동의도에 어떻게 영향을 미치는가?
• RQ5 신뢰와 인지 스타일이 함께 작용할 때 실제 사용 의도와 행동을 얼마나 잘 예측할 수 있는가?

주요 결과

• genAI의 시스템/출력 품질—성능, 보안, 출력 정확도를 포함—는 개발자들이 도구에 대해 느끼는 신뢰를 유의미하게 예측한다.
• 교육적 및 실용적 이점이 포함된 기능적 가치는 개발자들이 genAI 도구에 대해 느끼는 신뢰를 강력하게 예측한다.
• 개발자의 즉각적인 목표와 genAI의 행동 간의 일치도인 목표 유지 능력은 신뢰 형성에 유의미한 긍정적 영향을 미친다.
• 개발자들이 genAI 도구에 대해 느끼는 신뢰는 실제로 이러한 도구를 사용하고자 하는 행동의도의 핵심 추진력이다.
• 특히 내재적 동기, 동료 그룹 내에서의 컴퓨터 자기효능감, 위험 태도와 같은 인지 스타일이 행동의도에 유의미한 영향을 미친다.
• 신뢰와 인지 스타일의 조합은 개발자들이 업무에서 genAI 도구를 사용하고자 하는 의도에 대한 변동성의 상당 부분을 설명한다.