[论文解读] MAVE: A Product Dataset for Multi-source Attribute Value Extraction

Li Yang, Qifan Wang+6 more|arXiv (Cornell University)|Dec 16, 2021

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

MAVE 是一个大规模、多源产品数据集，包含 220 万个产品和跨 1257 个类别的 300 万个属性-值标注，旨在推动电子商务中的属性值抽取。该数据集支持零样本和少样本学习的最先进性能，新型模型 MAVEQA 在长而复杂的商品描述上表现优于基线模型，并在未见属性上展现出强大的泛化能力。

ABSTRACT

Attribute value extraction refers to the task of identifying values of an attribute of interest from product information. Product attribute values are essential in many e-commerce scenarios, such as customer service robots, product ranking, retrieval and recommendations. While in the real world, the attribute values of a product are usually incomplete and vary over time, which greatly hinders the practical applications. In this paper, we introduce MAVE, a new dataset to better facilitate research on product attribute value extraction. MAVE is composed of a curated set of 2.2 million products from Amazon pages, with 3 million attribute-value annotations across 1257 unique categories. MAVE has four main and unique advantages: First, MAVE is the largest product attribute value extraction dataset by the number of attribute-value examples. Second, MAVE includes multi-source representations from the product, which captures the full product information with high attribute coverage. Third, MAVE represents a more diverse set of attributes and values relative to what previous datasets cover. Lastly, MAVE provides a very challenging zero-shot test set, as we empirically illustrate in the experiments. We further propose a novel approach that effectively extracts the attribute value from the multi-source product information. We conduct extensive experiments with several baselines and show that MAVE is an effective dataset for attribute value extraction task. It is also a very challenging task on zero-shot attribute extraction. Data is available at {\it \url{https://github.com/google-research-datasets/MAVE}}.

研究动机与目标

• 解决电子商务中产品属性值抽取缺乏大规模、多样化且高质量数据集的问题。
• 通过在未见属性上实现零样本和少样本学习，提升模型泛化能力。
• 提供富含上下文的数据集，整合多源产品信息（如标题、描述、规格等），以提升属性覆盖度。
• 支持在真实世界中存在缺失或不完整数据条件下的鲁棒、可扩展的属性抽取研究。
• 为评估属性抽取模型在长而复杂的商品描述上的表现建立基准。

提出的方法

• 通过从亚马逊评论页面提取预定义属性的原始属性值来构建数据集。
• 应用严格的过滤和后映射处理，确保高质量、干净的属性-值对，最终获得 300 万个标注，覆盖 220 万个产品。
• 从标题、描述、功能、规格和键值对等多种来源聚合产品表示，以增强上下文信息和覆盖范围。
• 提出一种新型序列标注模型 MAVEQA，用于联合建模多源输入，并有效处理长输入序列。
• 使用预训练的 ETC 模型在 MAVE 数据集上微调该模型，该模型专为长序列优化。
• 建立零样本和少样本评估协议以评估泛化能力，并系统性地消融序列长度和模型容量的影响。

实验结果

研究问题

• RQ1 大规模、多源产品数据集是否能显著提升零样本属性值抽取性能？
• RQ2 多源输入表示如何影响属性值抽取模型的准确性和鲁棒性？
• RQ3 模型在未见过的属性上无需任何微调样本时，其泛化能力能达到何种程度？
• RQ4 随着输入序列长度的增加，模型性能如何退化？能否设计出有效处理长商品描述的模型？
• RQ5 预训练模型的选择对少样本和零样本属性抽取有何影响？

主要发现

• MAVE 是目前公开可用的最大属性值抽取数据集，包含 300 万个标注，覆盖 220 万个产品和 1257 个类别。
• MAVEQA 模型在长序列上的表现显著优于 AVEQA，即使在超过模型最大序列长度时，其精确率和召回率仍保持稳定。
• 在零样本属性上，MAVEQA 在分辨率（Resolution）和输出端口数量（Number of Sinks）上优于 AVEQA，但两者在兼容性（Compatibility）上均完全失败，表明这确实是一个真正的零样本挑战。
• 在少样本学习中，使用 100 个训练样本时，大多数属性的 F1 分数超过 90%，表明具有强大的样本效率。
• 在食品处理器容量（Food Processor Capacity）上，模型性能保持平坦，表明评估集中可能存在缺失真实标注的数据质量问题。
• 该数据集可有效用于下游任务的预训练，如商品搜索、推荐和问答。