[论文解读] Exploring the Potential of Large Language Models for Automation in Technical Customer Service

Jochen Wulf, Juerg Meierhofer|arXiv (Cornell University)|May 15, 2024

Technology and Data Analysis被引用 4

一句话总结

本研究探讨了在技术客户支持中利用大语言模型（LLMs）自动化认知任务的可行性，表明诸如翻译和摘要等低层级任务可借助GPT-4等模型有效实现自动化，而高层级推理则需要采用检索增强生成（RAG）或微调等高级技术。研究强调了数据生态系统在支持服务组织中复杂LLM应用方面所起的关键作用。

ABSTRACT

Purpose: The purpose of this study is to investigate the potential of Large Language Models (LLMs) in transforming technical customer service (TCS) through the automation of cognitive tasks. Design/Methodology/Approach: Using a prototyping approach, the research assesses the feasibility of automating cognitive tasks in TCS with LLMs, employing real-world technical incident data from a Swiss telecommunications operator. Findings: Lower-level cognitive tasks such as translation, summarization, and content generation can be effectively automated with LLMs like GPT-4, while higher-level tasks such as reasoning require more advanced technological approaches such as Retrieval-Augmented Generation (RAG) or finetuning ; furthermore, the study underscores the significance of data ecosystems in enabling more complex cognitive tasks by fostering data sharing among various actors involved. Originality/Value: This study contributes to the emerging theory on LLM potential and technical feasibility in service management, providing concrete insights for operators of TCS units and highlighting the need for further research to address limitations and validate the applicability of LLMs across different domains.

研究动机与目标

• 评估利用LLMs自动化技术客户支持中认知任务的可行性。
• 评估LLMs在瑞士电信运营商真实技术事件数据上的表现。
• 识别哪些认知任务可借助现成LLMs实现自动化，而哪些任务需要RAG或微调等高级方法。
• 考察数据生态系统在推动更复杂LLM驱动服务自动化中的作用。
• 为服务管理及未来LLM在技术支持领域应用的研究提供实践与理论洞见。

提出的方法

• 采用原型开发方法，在瑞士电信运营商的真实技术事件数据上实施并测试了基于LLM的自动化方案。
• 利用GPT-4及类似LLMs评估了翻译、摘要和内容生成等低层级认知任务。
• 通过检索增强生成（RAG）和微调技术测试高层级推理任务，以提升事实准确性和上下文推理能力。
• 研究分析了数据共享与数据生态系统对LLM自动化在服务场景中性能与可扩展性的影响。
• 将LLM输出与人工生成的基准进行对比，以评估其质量、相关性与准确性。

实验结果

研究问题

• RQ1 现成LLMs在多大程度上能够自动化技术客户支持中的低层级认知任务，如翻译、摘要和内容生成？
• RQ2 标准LLMs在处理技术支持场景中高层级推理任务时存在哪些局限性？
• RQ3 RAG和微调等高级技术如何提升LLMs在复杂推理任务中的表现？
• RQ4 数据生态系统与数据共享在实现高效LLM驱动的技术客户支持自动化中扮演何种角色？
• RQ5 LLM生成的回答在真实技术事件中与人工生成回答相比，在准确性和相关性方面表现如何？

主要发现

• 翻译、摘要和内容生成等低层级认知任务可借助标准LLMs（如GPT-4）实现高效自动化，且准确率与相关性均较高。
• 诊断复杂技术问题等高层级推理任务需依赖RAG或微调等高级技术，方能达到可接受的性能水平。
• 通过RAG实现外部知识检索，显著提升了推理任务中的事实一致性与上下文准确性。
• 能够支持服务参与者之间数据共享的数据生态系统，是实现LLM驱动自动化在技术客户支持中规模化与能力增强的关键。
• 本研究证实，LLMs可显著减少技术服务工作流中的手动操作，尤其在结合结构化数据访问与检索机制时效果更为显著。