[论文解读] Deep Recurrent Neural Networks for Product Attribute Extraction in eCommerce

Bodhisattwa Prasad Majumder, Aditya Subramanian+3 more|arXiv (Cornell University)|Mar 29, 2018

Advanced Text Analysis Techniques参考文献 10被引用 10

一句话总结

本文提出了一种结合双向LSTM、CRF和注意力机制的深度循环神经网络架构，用于在电子商务中准确提取产品属性。在品牌属性提取任务上，该方法取得了0.9599的F₁分数，优于以往基准至少0.0391，显著提升了分类搜索功能和在线购物体验。

ABSTRACT

Extracting accurate attribute qualities from product titles is a vital component in delivering eCommerce customers with a rewarding online shopping experience via an enriched faceted search. We demonstrate the potential of Deep Recurrent Networks in this domain, primarily models such as Bidirectional LSTMs and Bidirectional LSTM-CRF with or without an attention mechanism. These have improved overall F1 scores, as compared to the previous benchmarks (More et al.) by at least 0.0391, showcasing an overall precision of 97.94%, recall of 94.12% and the F1 score of 0.9599. This has made us achieve a significant coverage of important facets or attributes of products which not only shows the efficacy of deep recurrent models over previous machine learning benchmarks but also greatly enhances the overall customer experience while shopping online.

研究动机与目标

• 提升电子商务中产品属性提取的准确率与覆盖范围，以增强分类搜索功能。
• 通过端到端深度学习方法，解决传统机器学习模型依赖人工特征工程的局限性。
• 评估双向LSTM-CRF与注意力机制在从产品标题中提取'品牌'等属性时的有效性。
• 量化改进后的属性提取对关键业务指标（如曝光量、点击率和加入购物车率）的影响。

提出的方法

• 采用BIO标注方案对产品标题中的属性边界进行标注（B-属性、I-属性、O）。
• 使用双向LSTM捕捉产品标题正向与反向的上下文依赖关系。
• 在输出层集成条件随机场（CRF）以建模标签依赖关系，提升序列标注的准确性。
• 应用注意力机制聚焦于相关词元，尤其在无CRF层时表现更优。
• 使用可学习的词嵌入（100D）与字符嵌入（25D）表示输入词元，以保留语义与形态信息。
• 采用随机梯度下降进行模型训练，dropout率设为0.2，并在200个周期内进行5折交叉验证。

实验结果

研究问题

• RQ1 深度循环模型是否能在从标题中提取产品属性方面超越传统机器学习模型？
• RQ2 注意力机制的引入如何影响双向LSTM-CRF模型在属性提取中的性能表现？
• RQ3 CRF层是否会干扰注意力机制，如果是，原因是什么？
• RQ4 改进后的属性提取在现实世界中对电子商务关键业务指标（如曝光量与转化率）有何实际影响？

主要发现

• 双向LSTM-CRF模型取得了0.9599的F₁分数，相比之前最佳方法提升了0.0391。
• 精确率达到97.94%，召回率为94.12%，表明在识别品牌属性方面具有高准确性。
• 注意力机制在双向LSTM-CRF模型中未提升F₁分数，表明其功能可能与CRF层存在重叠。
• 相比之下，在无CRF的双向LSTM模型中，注意力机制提升了精确率，表明二者在特定配置下具有互补作用。
• 系统在部署后27天内，每日在线曝光量增加约250,000次，验证了其在真实业务场景中的积极影响。
• 其他属性如'内部存储'、'产品系列'和'制造商零件编号'也实现了显著的精确率提升，分别提高了3.02%、1.02%和4.38%。