[论文解读] Identifying leading indicators of product recalls from online reviews using positive unlabeled learning and domain adaptation

Shreesh Kumara Bhat, Aron Culotta|arXiv (Cornell University)|Mar 1, 2017

Sentiment Analysis and Opinion Mining被引用 5

一句话总结

本文提出了一种正样本-未标记样本学习与领域自适应框架，利用CPSC消费者投诉作为正样本信号，识别亚马逊产品评论中的安全风险。该系统相较于基线模型F1得分提升8%，并在45%的召回产品中提前数月检测到风险报告，为消费者和监管机构提供早期预警。

ABSTRACT

Consumer protection agencies are charged with safeguarding the public from hazardous products, but the thousands of products under their jurisdiction make it challenging to identify and respond to consumer complaints quickly. From the consumer's perspective, online reviews can provide evidence of product defects, but manually sifting through hundreds of reviews is not always feasible. In this paper, we propose a system to mine Amazon.com reviews to identify products that may pose safety or health hazards. Since labeled data for this task are scarce, our approach combines positive unlabeled learning with domain adaptation to train a classifier from consumer complaints submitted to the U.S. Consumer Product Safety Commission. On a validation set of manually annotated Amazon product reviews, we find that our approach results in an absolute F1 score improvement of 8% over the best competing baseline. Furthermore, we apply the classifier to Amazon reviews of known recalled products; the classifier identifies reviews reporting safety hazards prior to the recall date for 45% of the products. This suggests that the system may be able to provide an early warning system to alert consumers to hazardous products before an official recall is announced.

研究动机与目标

• 开发一种可扩展、自动化的系统，无需人工标注即可检测消费者产品评论中的健康与安全风险。
• 通过结合正样本-未标记样本学习与领域自适应，解决CPSC投诉与亚马逊评论之间数据稀缺及领域偏移问题。
• 通过识别在线评论中的预警信号，在官方召回前实现产品风险的早期检测。
• 支持消费者保护机构更高效地进行风险产品筛查、发现与通报。

提出的方法

• 利用来自SaferProducts.gov的2,010条CPSC投诉作为训练的正样本实例。
• 使用100,000余条未标注的亚马逊评论作为正样本-未标记学习设置中的负样本/未知样本。
• 应用领域自适应技术，减轻CPSC投诉语言与亚马逊评论语言之间的分布偏移。
• 采用改进的学习算法训练文本分类器，以应对数据集分布偏移问题，提升跨领域泛化能力。
• 在人工标注的亚马逊评论数据集及历史召回产品上验证性能。
• 采用时间序列分析评估风险信号是否在官方召回日期前出现。

实验结果

研究问题

• RQ1 基于CPSC投诉训练的分类器能否在亚马逊评论中实现高精度与高召回率的安全风险检测？
• RQ2 当训练数据与测试数据在语言风格和领域上存在差异时，领域自适应在多大程度上提升分类器性能？
• RQ3 亚马逊评论中的风险信号是否能显著早于官方产品召回而出现？
• RQ4 与基于关键词或标准监督基线相比，所提方法在识别安全风险方面的有效性如何？

主要发现

• 所提方法实现84%的F1得分，相较于最佳竞争基线实现绝对8%的提升。
• 在45%的召回产品中，系统在官方召回日期前已检测到至少一条报告安全风险的评论。
• 分类器平均在召回公告前121天识别出风险报告，展现出强大的早期预警潜力。
• 该系统优于基于关键词的方法，后者精度较低（9–44%），且需人工筛选术语。
• 领域自适应技术显著降低了因CPSC投诉与亚马逊评论之间分布偏移导致的性能下降。
• 该方法实现了无需人工标注亚马逊评论的可扩展、低成本安全风险检测。