[论文解读] Application of Natural Language Processing to Determine User Satisfaction in Public Services

Radosław Kowalski, Marc Estève+1 more|arXiv (Cornell University)|Nov 21, 2017

Customer Service Quality and Loyalty参考文献 127被引用 6

一句话总结

本文提出一种可扩展的自然语言处理（NLP）方法，采用主题建模技术分析公共服务的开放式用户评论，应用于14.5万条英格兰初级 care 服务的用户评论。研究识别出医护人员互动质量与官僚效率低下是用户满意度的两大主要驱动因素，为包容性公共服务改进提供了数据驱动的洞察。

ABSTRACT

Research on customer satisfaction has increased substantially in recent years. However, the relative importance and relationships between different determinants of satisfaction remains uncertain. Moreover, quantitative studies to date tend to test for significance of pre-determined factors thought to have an influence with no scalable means to identify other causes of user satisfaction. The gaps in knowledge make it difficult to use available knowledge on user preference for public service improvement. Meanwhile, digital technology development has enabled new methods to collect user feedback, for example through online forums where users can comment freely on their experience. New tools are needed to analyze large volumes of such feedback. Use of topic models is proposed as a feasible solution to aggregate open-ended user opinions that can be easily deployed in the public sector. Generated insights can contribute to a more inclusive decision-making process in public service provision. This novel methodological approach is applied to a case of service reviews of publicly-funded primary care practices in England. Findings from the analysis of 145,000 reviews covering almost 7,700 primary care centers indicate that the quality of interactions with staff and bureaucratic exigencies are the key issues driving user satisfaction across England.

研究动机与目标

• 填补在预定义因素之外，识别公共服务用户满意度决定因素的可扩展、数据驱动方法的空白。
• 克服传统定量调查的局限性，后者无法捕捉自由文本反馈中的新兴主题。
• 使公共部门组织能够从大量非结构化用户评论中提取可操作的洞察。
• 开发一种可部署的 NLP 框架，利用开放式反馈对现实世界公共服务评估进行分析。
• 通过自动化情感与主题分析，推动公共服务提供中更具包容性和基于证据的决策制定。

提出的方法

• 应用概率主题建模（特别是 LDA）从英格兰 14.5 万条初级 care 中心的非结构化患者评论中提取潜在主题。
• 使用标准 NLP 技术对文本数据进行预处理，包括分词、停用词移除和词形还原。
• 利用生成的主题分布评估特定主题与用户满意度水平之间的关系。
• 将主题映射到主题类别，如医护人员互动、等待时间及行政流程。
• 将主题出现频率与满意度评分相关联，以识别最具影响力的因素。
• 通过高频率主题及其情感关联的定性检查验证研究发现。

实验结果

研究问题

• RQ1 在英格兰公共资助的初级 care 服务用户评论中，主导主题是什么？
• RQ2 在大量评论样本中，哪些主题因素与用户满意度最强相关？
• RQ3 主题建模能否有效揭示超出预定义调查变量的、先前未预料到的满意度决定因素？
• RQ4 医护人员互动质量与官僚流程对用户满意度的影响相对如何？
• RQ5 NLP 技术在多大程度上能为公共服务改进提供可扩展、可操作的洞察？

主要发现

• 与医护人员的互动质量被确定为影响数据集中用户满意度的最关键因素。
• 官僚效率低下，如长时间等待和复杂的行政程序，被识别为用户不满的主要来源。
• 主题建模成功从 14.5 万条评论中提取出 15 个独立主题，其中医护人员行为和行政延迟的影响排名最高。
• 该方法揭示了先前未被充分重视的主题，如预约安排和沟通清晰度，这些主题在以往调查中并非主要关注点。
• 在医护人员相关主题中，正面情感的频率与整体用户满意度评分之间存在强烈相关性。
• 该方法展现出可扩展性和可重复性，能够在不预设因素假设的前提下，对大规模真实世界公共服务反馈进行分析。