[论文解读] Large Scale Product Categorization using Structured and Unstructured Attributes

Abhinandan Krishnan, Abilash Amarthaluri|arXiv (Cornell University)|Mar 1, 2019

Text and Document Classification Technologies被引用 4

一句话总结

本文提出一种深度学习方法，通过将结构化与非结构化产品属性统一为单一的类似文本的表示形式，实现卷积神经网络的有效应用。该方法在6,000类分类体系中将分类准确率提升了2.7%，尤其在如背心和办公收纳盒等利基产品类别中表现显著。

ABSTRACT

Product categorization using text data for eCommerce is a very challenging extreme classification problem with several thousands of classes and several millions of products to classify. Even though multi-class text classification is a well studied problem both in academia and industry, most approaches either deal with treating product content as a single pile of text, or only consider a few product attributes for modelling purposes. Given the variety of products sold on popular eCommerce platforms, it is hard to consider all available product attributes as part of the modeling exercise, considering that products possess their own unique set of attributes based on category. In this paper, we compare hierarchical models to flat models and show that in specific cases, flat models perform better. We explore two Deep Learning based models that extract features from individual pieces of unstructured data from each product and then combine them to create a product signature. We also propose a novel idea of using structured attributes and their values together in an unstructured fashion along with convolutional filters such that the ordering of the attributes and the differing attributes by product categories no longer becomes a modelling challenge. This approach is also more robust to the presence of faulty product attribute names and values and can elegantly generalize to use both closed list and open list attributes.

研究动机与目标

• 解决动态电子商务环境中数千个类别和数百万件商品所带来的极端多分类产品分类挑战。
• 克服传统模型将产品数据视为单一文本块或忽略结构化属性的局限性。
• 开发一种统一表示方法，将结构化属性及其值视为非结构化文本，从而在多样化产品类别间实现稳健的泛化能力。
• 通过卷积滤波器有效利用结构化属性的存在及其取值，提升模型性能。
• 证明在特定情况下，平坦的深度学习模型可优于层次化模型，尤其是在使用统一属性表示时。

提出的方法

• 通过使用分隔符连接属性名与取值，将每个产品的结构化属性（例如，'sleeve_style: tank'）表示为单个字符串。
• 将统一的文本表示输入多分支CNN或多分支LSTM模型，联合提取非结构化与结构化属性的深层特征。
• 为每个非结构化属性（如标题、描述）使用独立的词嵌入空间，以捕捉领域特定的语义信息。
• 在连接后的结构化属性字符串上应用一维卷积滤波器，以提取与属性存在性及取值语义相关的模式。
• 在生产微服务部署中，采用基于Redis缓冲区的微批次处理策略，以优化GPU利用率并降低推理延迟。
• 使用分层采样和词典剪枝作为隐式正则化手段，以提升泛化能力，尤其针对低支持类别。

实验结果

研究问题

• RQ1 统一表示结构化与非结构化产品属性是否能提升极端多分类产品分类任务中的分类准确率？
• RQ2 将结构化属性名与取值通过分隔符合并为单个文本字符串，是否能提升在属性集合各异的产品类别间的泛化能力？
• RQ3 在大规模产品分类任务中，平坦的深度学习模型与层次化模型在性能上如何比较？
• RQ4 卷积滤波器在多大程度上能有效捕捉特定属性的存在性及其取值的语义含义？
• RQ5 与共享嵌入空间相比，为每个属性使用独立的词嵌入对模型性能有何影响？

主要发现

• 与基线模型相比，所提方法在评估集上的F1分数整体提升了2.7%，在6,000类分类问题中属于显著提升。
• 多分支CNN模型在性能上与多分支LSTM模型相当，但具有更好的并行化能力，因此在训练和推理阶段均更快。
• 从结构化属性中受益最多的前五类产品为：背心（F1提升+0.365）、化学实验套件（+0.317）、办公收纳盒（+0.257）、户外旗帜与横幅（+0.249）以及形状分类玩具（+0.241）。
• 在属性名与取值之间使用分隔符显著提升了模型性能，有效防止了错误的跨属性注意力。
• 即使词嵌入维度小至50维，其性能也几乎与200维嵌入相当，表明在适当正则化下，小尺寸嵌入同样有效。
• 按属性剪枝词典起到了隐式正则化作用，并在某些情况下提升了性能，尤其对低支持类别效果显著。