[论文解读] Computational Analysis of Insurance Complaints: GEICO Case Study

Amir Karami, Noelle M. Pendergraft|arXiv (Cornell University)|Jun 26, 2018

Imbalanced Data Classification Techniques参考文献 18被引用 21

一句话总结

本研究提出一种无监督计算方法，采用主题建模（LDA）分析1,371条GEICO的负面在线评论，揭示了四个类别中的30个不同投诉主题：客户服务、保险覆盖与文件、法律问题以及费用/估价/付款。该方法揭示了非结构化文本中的潜在语义模式，超过60%的投诉集中于客户服务和保险覆盖问题，为保险公司提升服务质量提供了可操作的见解。

ABSTRACT

The online environment has provided a great opportunity for insurance policyholders to share their complaints with respect to different services. These complaints can reveal valuable information for insurance companies who seek to improve their services; however, analyzing a huge number of online complaints is a complicated task for human and must involve computational methods to create an efficient process. This research proposes a computational approach to characterize the major topics of a large number of online complaints. Our approach is based on using the topic modeling approach to disclose the latent semantic of complaints. The proposed approach deployed on thousands of GEICO negative reviews. Analyzing 1,371 GEICO complaints indicates that there are 30 major complains in four categories: (1) customer service, (2) insurance coverage, paperwork, policy, and reports, (3) legal issues, and (4) costs, estimates, and payments. This research approach can be used in other applications to explore a large number of reviews.

研究动机与目标

• 为解决人工分析数千条非结构化在线保险投诉所面临的挑战，该方法对人工分析师而言不可行。
• 使用计算文本分析识别并分类GEICO负面在线评论中的主要主题与潜在主题。
• 开发一种可扩展的无监督方法，适用于其他保险公司和行业，以从非结构化文本中挖掘客户反馈。
• 为保险公司提供可操作的见解，通过聚焦特定投诉类别（尤其是客户服务和保单相关问题）来提升客户满意度。

提出的方法

• 从ConsumerAffairs.com收集1,371条一星和两星的GEICO评论，聚焦于负面反馈。
• 进行n-gram分析（双词短语）以识别重复出现的短语和初步的主题模式，并使用标准停用词列表去除停用词。
• 应用无监督的潜在狄利克雷分布（LDA）主题建模，以在无需标注训练数据的情况下发现潜在语义主题。
• 通过研究者共识对30个独立主题进行注释和标注，并将其归入四个主要类别：客户服务、保险覆盖/文件、法律问题以及费用/估价/付款。
• 可视化各主题在类别中的分布，以评估投诉的普遍性并优先确定服务改进领域。
• 使用GitHub上公开提供的数据集，以确保结果的可重现性和透明度。

实验结果

研究问题

• RQ1 在大量GEICO负面在线评论语料库中，主导的主题和潜在主题是什么？
• RQ2 无监督主题建模在无需标注训练数据的情况下，如何有效揭示非结构化保险投诉数据中的语义模式？
• RQ3 在GEICO的负面评论中，哪类投诉——客户服务、保险覆盖、法律问题或财务问题——占主导地位？
• RQ4 用户在多大程度上在投诉中将GEICO与Progressive、Allstate或State Farm等竞争对手进行比较？
• RQ5 对在线评论的计算分析在多大程度上能为保险服务交付和客户满意度的战略改进提供支持？

主要发现

• 分析从1,371条负面GEICO评论中识别出30个独立的投诉主题，揭示了客户不满的显著模式。
• 超过60%的识别主题归属于两大类别：客户服务（C1）和保险覆盖、文件、保单及报告（C2），表明这些是主要痛点。
• 最常见的投诉主题包括粗鲁或无帮助的员工（例如，主题T20：'粗鲁的员工'）、理赔和退款等待时间过长（例如，主题T19：'等待退款时间过长'）以及拒绝支付有效索赔（例如，主题T28：'拒绝支付索赔'）。
• 用户频繁将GEICO与竞争对手进行比较，其中Progressive、Allstate和State Farm是在评论中最常被提及的替代选项。
• 财务和费用相关投诉尤为突出，包括索赔估价问题（例如，主题T11：'车辆全损的估价过低'）、医疗费用负担（例如，主题T22：'医疗费用'）以及保单取消后的意外收费（例如，主题T4：'取消后仍被收费'）。
• 法律和文件问题也较为显著，如对责任报告的争议（例如，主题T9：'责任报告差异'）以及与DMV的通信（例如，主题T25：'与DMV联系'），尤其在复杂索赔中更为突出。