[论文解读] ESSMArT Way to Manage User Requests

Maleknaz Nayebi, Liam Dicke+3 more|arXiv (Cornell University)|Aug 11, 2018

Advanced Text Analysis Techniques参考文献 41被引用 8

一句话总结

ESSMArT 是一种端到端的自动化方法，用于在软件开发中管理用户请求，通过执行文本摘要、预测工单升级、生成适合开发人员的工单标题和内容，并将工单分配给开发人员。在 4,114 个真实工单上进行评估，该方法将平均请求处理时间减少了 9.2 分钟，并实现了 71% 的人类建议一致性，使用上下文和摘要数据的随机森林模型在升级预测中达到 0.9 的精确率和 0.55 的召回率。

ABSTRACT

Quality and market acceptance of software products is strongly influenced by responsiveness to user requests. Once a request is received from a customer, decisions need to be made if the request should be escalated to the development team. Once escalated, the ticket must be formulated as a development task and be assigned to a developer. To make the process more efficient and reduce the time between receiving and escalating the user request, we aim to automate of the complete user request management process. We propose a holistic method called ESSMArT. The methods performs text summarization, predicts ticket escalation, creates the title and content of the ticket used by developers, and assigns the ticket to an available developer. We internally evaluated the method by 4,114 user tickets from Brightsquid and their secure health care communication plat- form Secure-Mail. We also perform an external evaluation on the usefulness of the approach. We found that supervised learning based on context specific data performs best for extractive summarization. For predicting escalation of tickets, Random Forest trained on a combination of conversation and extractive summarization is best with highest precision (of 0.9) and recall (of 0.55). From external evaluation we found that ESSMArT provides suggestions that are 71% aligned with human ones. Applying the prototype implementation to 315 user requests resulted in an average time reduction of 9.2 minutes per request. ESSMArT helps to make ticket management faster and with reduced effort for human experts. ESSMArT can help Brightsquid to (i) minimize the impact of staff turnover and (ii) shorten the cycle from an issue being reported to an assignment to a developer to fix it.

研究动机与目标

• 自动化软件开发中用户请求的端到端管理，以减少人工工作量和解决时间。
• 通过减少对专家知识在工单处理中的依赖，降低人员流动的影响。
• 通过预测哪些工单需要开发人员关注，提高用户请求升级的效率。
• 自动从用户请求中生成准确、适合开发人员的工单标题和描述。
• 基于工作负载和专业技能，将工单分配给合适的开发人员，提升任务路由效率。

提出的方法

• 使用基于上下文特定数据训练的抽取式文本摘要技术，将用户请求浓缩为简洁摘要。
• 在对话历史和抽取式摘要的组合数据上，使用监督机器学习（特别是随机森林）预测请求是否应升级至开发团队。
• 基于摘要化和上下文化的输入，使用自然语言生成技术生成工单标题和内容。
• 实施一个动态工单分配模块，根据可用性和技能匹配度，将工单分配给可用的开发人员。
• 将所有组件整合到统一的端到端自动化流水线中，实现用户请求管理的全流程自动化。
• 使用来自 Brightsquid 和 Secure-Mail 的 4,114 个内部工单数据进行方法验证，并开展外部评估以检验建议质量。

实验结果

研究问题

• RQ1 基于上下文特定数据训练的抽取式摘要在软件支持环境中对压缩用户请求的有效性如何？
• RQ2 哪种机器学习模型在预测用户请求是否应升级至开发团队方面表现最佳？
• RQ3 ESSMArT 生成的工单标题和描述与人工生成的相比，一致性程度如何？
• RQ4 通过使用 ESSMArT 自动化用户请求管理流程，能实现多大程度的时间节省？
• RQ5 ESSMArT 是否能通过减少对人工专家判断的依赖，降低人员流动对支持团队的影响？

主要发现

• 基于上下文特定数据的监督学习在抽取式摘要中表现最佳，优于通用或无监督方法。
• 在对话历史和抽取式摘要组合数据上训练的随机森林模型在升级预测中表现最优，精确率为 0.9，召回率为 0.55。
• 外部评估显示，ESSMArT 生成的工单创建建议与人工建议的一致性达到 71%，表明其具有较强的实用性。
• 原型实现将每项用户请求的平均处理时间减少了 9.2 分钟，显著提升了处理效率。
• ESSMArT 有效降低了对专家知识的依赖，有助于缓解支持团队中人员流动的影响。
• 该方法实现了从请求报告到开发人员分配的更短周期，提升了整体响应速度和软件产品质量。