[论文解读] "It would work for me too": How Online Communities Shape Software Developers' Trust in AI-Powered Code Generation Tools

Ruijia Cheng, Ruotong Wang+2 more|arXiv (Cornell University)|Dec 7, 2022

Ethics and Social Impacts of AI被引用 7

一句话总结

本文研究了在线开发者社区如何塑造对AI驱动的代码生成工具的信任，揭示了两个关键路径：通过共享经验进行集体意义建构，以及通过评估信号实现社区启发式判断。本研究提出将社区功能（如精选经验与信任信号）整合到AI代码工具中，以支持适当的信任，该结论通过17名开发者的访谈和11次设计探针实验得到验证。

ABSTRACT

While revolutionary AI-powered code generation tools have been rising rapidly, we know little about how and how to help software developers form appropriate trust in those AI tools. Through a two-phase formative study, we investigate how online communities shape developers' trust in AI tools and how we can leverage community features to facilitate appropriate user trust. Through interviewing 17 developers, we find that developers collectively make sense of AI tools using the experiences shared by community members and leverage community signals to evaluate AI suggestions. We then surface design opportunities and conduct 11 design probe sessions to explore the design space of using community features to support user trust in AI code generation systems. We synthesize our findings and extend an existing model of user trust in AI technologies with sociotechnical factors. We map out the design considerations for integrating user community into the AI code generation experience.

研究动机与目标

• 理解在线社区如何影响软件开发者对AI驱动的代码生成工具的信任。
• 识别塑造开发者信任判断的社会技术因素，特别是由社区驱动的信号。
• 探索将社区功能整合到AI代码生成系统中的设计机遇，以支持适当的信任。
• 通过整合开发者社区中观察到的社会技术动态，扩展现有的AI信任模型。
• 为未来利用社区输入进行信任校准的AI系统提供可操作的设计考量。

提出的方法

• 对17名软件开发者进行了半结构化访谈，以探究其在AI代码工具相关在线社区中的使用经验与信任形成过程。
• 识别出两种核心机制：集体意义建构（通过共享社区经验学习）与社区启发式判断（利用社区生成的评估信号）。
• 开发了视觉设计探针，将社区功能（如共享代码建议、信任指标和隐私控制）整合到GitHub Copilot界面中。
• 通过11次设计探针会话，收集开发者对集成社区功能的信任特征的构想反馈。
• 将研究发现综合为现有AI信任模型的社会技术扩展，强调社区精选的经验与评估信号的作用。
• 提出了将社区功能整合到AI代码生成系统中的设计考量，包括隐私控制、同意机制以及上下文感知的共享功能。

实验结果

研究问题

• RQ1 在线社区如何影响软件开发者对AI驱动的代码生成工具的信任？
• RQ2 开发者使用哪些类型的社区提供信息来评估并形成对AI生成代码建议的信任？
• RQ3 哪些设计功能能有效将社区输入整合到AI代码生成系统中，以支持适当的信任？
• RQ4 隐私与保密担忧如何影响开发者分享或访问社区经验的意愿？
• RQ5 社区功能应如何设计，以同时支持信任校准与AI在软件开发中的负责任使用？

主要发现

• 开发者高度依赖共享的社区经验来理解AI代码生成工具的能力与局限，通过聚合洞察形成集体信任感。
• 社区生成的评估信号（如点赞、评论和使用模式）作为启发式工具，帮助开发者评估特定AI建议的可信度。
• 隐私担忧是社区共享的主要障碍，开发者强烈要求具备明确的控制权、同意机制以及防止泄露敏感源代码的防护措施。
• 设计探针显示，开发者对可预览谁能看到其共享经验的功能表现出浓厚兴趣，同时希望系统能自动检测并擦除机密信息。
• 将社区精选的经验与评估信号整合到AI工具中，可显著提升信任校准效果，减少对AI的过度依赖，同时提升代码质量。
• 若不纳入社会技术动态，现有的AI信任模型是不充分的；社区互动提供了两种截然不同的路径——集体意义建构与社区启发式判断——这些路径必须在信任框架中正式承认。