[論文レビュー] What Guides Our Choices? Modeling Developers' Trust and Behavioral Intentions Towards GenAI

Rudrajit Choudhuri, Bianca Trinkenreich+6 more|arXiv (Cornell University)|Sep 6, 2024

Big Data and Business IntelligenceBusiness, Management and Accounting被引用数 3

ひとこと要約

本研究では、生成AI（genAI）のシステム／出力品質、機能的価値、目的維持が、開発者の信頼を有意に予測することを特定・検証する理論的モデルを構築した。この信頼は、認知的スタイル（動機付け、自己効力感、リスク態度）と併せて、これらのツールを使用しようとする行動意図を駆動する。主な発見は、グローバルなテック企業に所属する238名の開発者からのアンケート調査をPLS-SEM分析で行った結果に基づく。

ABSTRACT

Generative AI (genAI) tools, such as ChatGPT or Copilot, are advertised to improve developer productivity and are being integrated into software development. However, misaligned trust, skepticism, and usability concerns can impede the adoption of such tools. Research also indicates that AI can be exclusionary, failing to support diverse users adequately. One such aspect of diversity is cognitive diversity -- variations in users' cognitive styles -- that leads to divergence in perspectives and interaction styles. When an individual's cognitive style is unsupported, it creates barriers to technology adoption. Therefore, to understand how to effectively integrate genAI tools into software development, it is first important to model what factors affect developers' trust and intentions to adopt genAI tools in practice? We developed a theoretically grounded statistical model to (1) identify factors that influence developers' trust in genAI tools and (2) examine the relationship between developers' trust, cognitive styles, and their intentions to use these tools in their work. We surveyed software developers (N=238) at two major global tech organizations: GitHub Inc. and Microsoft; and employed Partial Least Squares-Structural Equation Modeling (PLS-SEM) to evaluate our model. Our findings reveal that genAI's system/output quality, functional value, and goal maintenance significantly influence developers' trust in these tools. Furthermore, developers' trust and cognitive styles influence their intentions to use these tools in their work. We offer practical suggestions for designing genAI tools for effective use and inclusive user experience.

研究の動機と目的

• ソフトウェア開発における生成AI（genAI）ツールに対する開発者の信頼に影響を与える要因を特定すること。
• 開発者の信頼、認知的スタイル、およびgenAIツールの採用意思との関係を検討すること。
• ソフトウェア工学分野におけるgenAIに対する信頼と行動意図の理論的モデルを、実証的根拠に基づき構築すること。
• 技術採用の観点から、認知的多様性を重要な要因として位置づけ、AI設計における包摂性を強化すること。
• 開発ワークフローへの公平かつ効果的なgenAIツール統合を支援する実務的設計ガイドラインを提供すること。

提案手法

• 信頼（PICSEフレームワーク）および認知的多様性に関する先行文献に基づいた理論的モデルを構築した。
• 2つの主要なグローバルテック企業に所属する238名のソフトウェア開発者からアンケートデータを収集した。
• 部分最小二乗構造方程式モデリング（PLS-SEM）を用いて仮説を検証し、構成要因間の関係を評価した。
• 信頼関連要因、認知的スタイル、行動意図を測定するための妥当な測定器を用いた。
• アンケートの構成要因について、妥当性（信頼性、収束妥当性、区別妥当性）の心理的検証を実施した。
• データ品質の向上と回答バイアスの低減を目的として、注目チェック、ランダム化された質問ブロック、パイロットテストを実施した。

Figure 1. PLS-SEM Model: Solid lines indicate item loadings and path coefficients (p $<$ 0.05); dashed lines represent non-significant paths. Reverse-coded items are suffixed with ‘-R’ (e.g., SE2-R). Latent constructs are depicted as circles and adjusted $R^{2}$ (Adj. $R^{2}$ ) values are reported f

実験結果

リサーチクエスチョン

• RQ1 ソフトウェア開発における生成AIツールに対する開発者の信頼を予測する要因は何ですか？
• RQ2 開発者の信頼と認知的スタイルは、genAIツールの使用意図にどのように関連していますか？
• RQ3 システム／出力品質、機能的価値、目的維持が、genAIツールに対する信頼に及ぼす影響の程度はどの程度ですか？
• RQ4 認知的スタイル（特に内発的動機付け、同僚グループ内でのコンピュータ自己効力感、リスク態度）は、genAIに対する行動意図にどのように影響しますか？
• RQ5 信頼と認知的スタイルが、実際の使用意図および行動をどのように共同で予測しますか？

主な発見

• genAIのシステム／出力品質（性能、セキュリティ、出力の正確性を含む）は、開発者のツールに対する信頼を有意に予測する。
• 教育的・実用的利点を含む機能的価値は、genAIツールに対する開発者の信頼を強く予測する。
• 開発者の即時の目的とgenAIの行動との整合性（目的維持）は、信頼形成に有意な正の影響を与える。
• 開発者のgenAIツールに対する信頼は、実際の使用を意識した行動意図の主要な駆動要因である。
• 認知的スタイル、特に内発的動機付け、同僚グループ内でのコンピュータ自己効力感、リスク態度が、行動意図に有意に影響を与える。
• 信頼と認知的スタイルの組み合わせは、開発者が仕事でgenAIツールを使用しようとする意思の有意な部分を説明できる。