[论文解读] Don't Disturb Me: Challenges of Interacting with SoftwareBots on Open Source Software Projects

Mairieli Wessel, Igor Wiese+2 more|arXiv (Cornell University)|Mar 25, 2021

Wikis in Education and Collaboration参考文献 77被引用 40

一句话总结

本文研究了在开源软件（OSS）项目中与软件机器人交互所面临的挑战，特别是在 GitHub 拉取请求（pull requests）中的情况。通过对 21 名实践者的半结构化访谈，作者识别出‘噪声’——由过度、冗长或具有干扰性的机器人行为引起——是破坏开发者沟通与工作流的核心问题。主要贡献在于提出了一套理论，解释机器人引发的噪声如何导致信息过载，为协作开发环境中的人机交互设计提供了洞见。

ABSTRACT

Software bots are used to streamline tasks in Open Source Software (OSS) projects' pull requests, saving development cost, time, and effort. However, their presence can be disruptive to the community. We identified several challenges caused by bots in pull request interactions by interviewing 21 practitioners, including project maintainers, contributors, and bot developers. In particular, our findings indicate noise as a recurrent and central problem. Noise affects both human communication and development workflow by overwhelming and distracting developers. Our main contribution is a theory of how human developers perceive annoying bot behaviors as noise on social coding platforms. This contribution may help practitioners understand the effects of adopting a bot, and researchers and tool designers may leverage our results to better support human-bot interaction on social coding platforms.

研究动机与目标

• 理解软件机器人在开源软件（OSS）项目拉取请求交互中引入的挑战。
• 研究机器人行为如何影响协作编码环境中的人员沟通与开发工作流。
• 识别并分析开发者（包括维护者、贡献者和机器人开发者）对机器人行为被视为‘噪声’的感知。
• 基于实践者经验，构建一套理论，解释机器人交互如何破坏工作流与沟通。

提出的方法

• 对 21 名经验丰富的实践者（OSS 维护者、贡献者和机器人开发者）进行了半结构化访谈。
• 采用定性分析方法，通过持续比较法识别机器人相关挑战中的重复主题与模式。
• 通过成员核对（member-checking）验证研究发现，以确保准确性和可靠性。
• 理论构建聚焦于‘噪声’作为核心概念，从访谈数据中提炼得出，用以解释具有破坏性的机器人行为。
• 重点关注基于 GitHub 的交互，分析机器人行为如何影响沟通流程与认知负荷。
• 探讨了机器人冗长度、行为频率以及未经请求的干预对开发者体验的影响。

实验结果

研究问题

• RQ1 RQ1：在开源软件项目中，支持拉取请求的软件机器人引入了哪些交互挑战？
• RQ2 RQ2：开发者如何感知并应对干扰沟通与工作流的机器人行为？
• RQ3 RQ3：在协作开发环境中，‘噪声’在负面评价软件机器人方面起到了什么作用？

主要发现

• 开发者经常将机器人行为（如过多评论、重复通知和冗长反馈）视为噪声，这些行为会破坏沟通与工作流。
• 机器人引发的噪声导致信息过载，使开发者感到不堪重负与分心，即使机器人本意是减轻工作负担。
• 维护者通常通过重新配置机器人、重新设计交互方式或禁用通知（包括取消关注仓库）来应对噪声。
• 新手尤其容易受到机器人反馈的影响，高密度的批评性评论缺乏支持性指导，可能使其感到受挫。
• 尽管机器人减少了人工评论的数量，但开发者往往并未感知到这种减少，从而导致期望错配。
• 本研究识别出机器人引发的噪声与认知干扰之间的理论关联，强调了在社交编码平台中需要更审慎的机器人设计。