[论文解读] Mining Procedures from Technical Support Documents

Abhirut Gupta, Abhay Khosla+2 more|arXiv (Cornell University)|May 24, 2018

Business Process Modeling and Analysis参考文献 5被引用 4

一句话总结

本文提出一种从非结构化技术支援文件中通过自然语言处理与机器学习挖掘结构化故障排除程序的系统。该系统识别程序、提取决策点及其关联的指令模块，并映射条件逻辑，从而将自然语言指南转化为可执行工作流程，实现85%的条件映射准确率，借助文本相似度阈值。

ABSTRACT

Guided troubleshooting is an inherent task in the domain of technical support services. When a customer experiences an issue with the functioning of a technical service or a product, an expert user helps guide the customer through a set of steps comprising a troubleshooting procedure. The objective is to identify the source of the problem through a set of diagnostic steps and observations, and arrive at a resolution. Procedures containing these set of diagnostic steps and observations in response to different problems are common artifacts in the body of technical support documentation. The ability to use machine learning and linguistics to understand and leverage these procedures for applications like intelligent chatbots or robotic process automation, is crucial. Existing research on question answering or intelligent chatbots does not look within procedures or deep-understand them. In this paper, we outline a system for mining procedures from technical support documents. We create models for solving important subproblems like extraction of procedures, identifying decision points within procedures, identifying blocks of instructions corresponding to these decision points and mapping instructions within a decision block. We also release a dataset containing our manual annotations on publicly available support documents, to promote further research on the problem.

研究动机与目标

• 为解决技术支援文件中程序理解深度不足的问题，这些文件对故障排除至关重要，但在自然语言处理系统中仍被低估。
• 从非结构化的自然语言文档中提取可操作的、结构化的程序，包括决策点和指令模块。
• 通过将自由文本程序转化为机器可理解的工作流程，支持下游应用如智能聊天机器人和机器人流程自动化（RPA）。
• 发布一个手动标注的数据集，以支持未来在技术文档中进行程序挖掘的研究。

提出的方法

• 使用基线模型，利用列表结构（如编号步骤）等特征，从技术支援文件中识别并提取程序。
• 应用祈使动词检测以改善程序边界的识别，特别是在缺乏列表特征时。
• 通过检测条件句（如“如果”、“除非”）识别决策点，并使用文本相似度（阈值设为70%）将指令映射到“真”或“假”分支。
• 结合基于规则的启发式方法与简单基线，提取决策模块，利用句子级结构与条件逻辑。
• 将提取的程序整合至知识图谱，用于生产级聊天机器人（DESIRE），实现基于条件的逐步引导。
• 使用基于模板的问题生成（如“你有X吗？”），向用户呈现决策点，并通过否定检测实现响应路由。

实验结果

研究问题

• RQ1 如何自动从非结构化技术支援文件中挖掘出结构化的故障排除程序？
• RQ2 哪些特征（如列表结构、祈使动词）最有效地提升程序边界的检测效果？
• RQ3 如何利用文本相似度准确地将程序中的条件逻辑映射到“真”或“假”分支？
• RQ4 挖掘出的程序在多大程度上能提升智能聊天机器人或RPA系统的性能？
• RQ5 在训练数据稀疏的情况下，将指令映射到决策模块中正确执行路径面临哪些挑战？

主要发现

• 在分析的约58%的IBM技术支援文件中至少包含一个程序，凸显了此类内容的普遍性。
• 使用70%的文本相似度阈值，系统能将85%的指令正确映射到决策模块的“真”或“假”分支。
• 祈使动词检测可提升程序提取性能，尤其在缺乏列表结构特征时效果更明显。
• 该系统成功集成至DESIRE聊天机器人，实现基于条件感知的逐步引导式故障排除对话流程。
• 尽管结果令人鼓舞，但在决策模块内映射指令仍具挑战，主要因标注数据有限，表明亟需更广泛的数据集。
• 作者计划发布该标注数据集，以支持未来在技术文档中进行程序挖掘的研究。