[论文解读] Attribute Extraction from Product Titles in eCommerce

Ajinkya More|arXiv (Cornell University)|Aug 15, 2016

Natural Language Processing Techniques参考文献 12被引用 20

一句话总结

本文提出一种基于条件随机场（CRF）和结构感知感知机的序列标注方法，并结合精心设计的归一化方案，从简短、非结构化的电商商品标题中提取产品属性值，特别是“品牌”信息。该方法在归一化后实现了92–95%的精确率，显著提升了商品的可发现性，因果影响分析显示，添加了提取品牌元数据的商品在测试期间获得了超过25万次额外曝光。

ABSTRACT

This paper presents a named entity extraction system for detecting attributes in product titles of eCommerce retailers like Walmart. The absence of syntactic structure in such short pieces of text makes extracting attribute values a challenging problem. We find that combining sequence labeling algorithms such as Conditional Random Fields and Structured Perceptron with a curated normalization scheme produces an effective system for the task of extracting product attribute values from titles. To keep the discussion concrete, we will illustrate the mechanics of the system from the point of view of a particular attribute - brand. We also discuss the importance of an attribute extraction system in the context of retail websites with large product catalogs, compare our approach to other potential approaches to this problem and end the paper with a discussion of the performance of our system for extracting attributes.

研究动机与目标

• 解决在大型电商目录中从简短、非结构化的商品标题中提取属性值的挑战。
• 通过准确的属性元数据支持分面搜索，提升商品可发现性。
• 开发一种可扩展、低资源的属性提取方法，最大限度减少人工标注。
• 评估属性提取对曝光量、点击量和转化率等关键指标的实际影响。
• 将该方法扩展至其他属性，如制造商零件号、角色名称和运动队名等。

提出的方法

• 将属性提取建模为使用CRF和结构感知感知机算法的序列标注问题。
• 利用远程监督从现有商品元数据中生成初始训练数据，无需人工标注。
• 应用精心设计的归一化方案，对属性值的变体进行标准化（例如，'Hewlett Packard' → 'HP'）。
• 由于不同类别中属性的适用性不同且数据稀疏性差异显著，为每个属性分别训练模型。
• 通过CausalImpact R包构建合成对照组，以估计元数据增强的因果效应。
• 根据分析师反馈迭代更新归一化词典，以提升精确率。

实验结果

研究问题

• RQ1 序列标注模型能否有效从简短、句法上非结构化的商品标题中提取属性值？
• RQ2 精心设计的归一化方案如何提升精确率并处理属性值中的词汇变体？
• RQ3 属性提取在现实世界中对商品曝光量和可发现性的影响如何？
• RQ4 远程监督在多大程度上可减少训练数据构建过程中对人工标注的需求？
• RQ5 该方法能否推广至品牌、型号编号和角色名称等多样化属性？

主要发现

• 该系统在品牌属性提取中实现了92–95%的归一化后精确率，较原始算法输出提升1–3%。
• 超过98%被分类为“无品牌”的商品被确认为真正负例，表明具有很高的特异性。
• 该模型发现了超过1,000个现有沃尔玛品牌数据库中未包含的品牌值。
• CausalImpact分析显示，在测试期间，添加了提取品牌元数据的商品预测曝光量增加了超过25万次。
• 其他属性也观察到类似积极影响，包括点击量、加入购物车率和订单量的提升。
• 该系统已成功部署用于提取超过20项属性，且为每项属性单独训练模型，以优化其在特定品类中的性能需求。