[论文解读] Exploring Context-Aware Conversational Agents in Software Development

Glaucia Melo, Edith Law+2 more|arXiv (Cornell University)|Jun 3, 2020

AI in Service Interactions参考文献 17被引用 12

一句话总结

本研究探讨了上下文感知聊天机器人在软件开发过程中协助开发者完成重复性、上下文相关任务的潜力。通过在 Slack 上开展的 Wizard-of-Oz 实验，发现开发者主要重视聊天机器人在任务指导和上下文感知建议方面的支持，且经验丰富的开发者对其有用性评价更高，同时强调未来实现中需加强个性化和上下文感知能力。

ABSTRACT

Software development is a complex endeavor that depends on a wide variety of contextual factors involving a large amount of distributed information. This knowledge could include: technology-related tasks, software operating environments and stakeholder requirements. A major roadblock to using this knowledge in software development is that most of this information is implicit and captured in the developers' minds (tacit) or spread through volumes of documentation. Developers, as they work often have to maintain mental models of these tasks as they produce the software. As a result, context can be easily lost or forgotten and developers often use trial-and-error approaches while finishing the project. This study aims at analyzing whether supporting software developers with a chatbot during task execution can improve the overall development experience. The chatbot can assist the developers in executing different tasks based on implicit contextual information. We propose an implementation to explore the viability of using textual chatbots to assist developers automatically and proactively with software development project activities that recur.

研究动机与目标

• 探究聊天机器人是否可通过支持上下文感知的任务执行来改善软件开发体验。
• 识别开发者在实时开发工作流中对聊天机器人交互的偏好。
• 探索如何通过对话式代理将软件开发中的隐性、缄默知识显性化。
• 评估将聊天机器人作为主动助手用于重复性开发任务的可行性。

提出的方法

• 在真实开发环境中，以 Slack 为交互平台，开展 Wizard-of-Oz 实验，模拟聊天机器人的运行。
• 通过实验前后的问卷调查以及对聊天交互的直接观察，收集定性和定量数据。
• 设计聊天机器人界面，基于开发者输入和任务场景模拟上下文感知的响应。
• 聚焦于常见的开发任务，如拉取请求、Git 命令和工作流推进。
• 以 Rasa 作为未来实现的参考框架，强调意图识别和对话管理。
• 分析聊天日志和反馈，识别重复性问题和交互模式。

实验结果

研究问题

• RQ1 聊天机器人在开发者执行开发任务时，能提供多好的支持？
• RQ2 开发者最希望将哪些类型的任务交由聊天机器人代为处理或获取指导？
• RQ3 开发者如何看待一个能主动建议上下文感知操作的聊天机器人的有用性？
• RQ4 上下文（如代码仓库、分支、提交模式）在开发者对聊天机器人协助的期望中起到什么作用？
• RQ5 开发者经验水平如何影响其对聊天机器人支持价值的感知？

主要发现

• 开发者对将聊天机器人作为支持工具表现出浓厚兴趣，尤其在任务管理和工作流指导方面。
• 平均交互时长为 10.8 分钟，期间参与者平均提出 15 个问题，表明参与度较高。
• 经验丰富的开发者（1 年以上）认为聊天机器人有帮助，而经验较少的开发者评价较低，表明初学者需要更详细的支援。
• 参与者频繁询问关于拉取请求的问题，表明这是其工作流中高摩擦度、重复性高的任务。
• 大多数参与者未询问基本的 Git 操作（如 push、pull 或 clone），表明这些操作被视为低难度或已充分理解。
• 参与者强调上下文感知的重要性，例如知晓代码仓库、分支和提交信息模式，以提升聊天机器人的相关性和实用性。