[论文解读] Exploring Generative Models for Joint Attribute Value Extraction from Product Titles

K S Roy, Tapas R. Nayak+1 more|arXiv (Cornell University)|Aug 15, 2022

Advanced Text Analysis Techniques被引用 4

一句话总结

本文提出了一种新颖的生成式方法，用于从产品标题中联合抽取属性值（AVE），将该任务建模为文本生成问题，采用两种范式：基于词序列的和基于位置序列的。该方法在两个基准数据集上使用T5和BART模型取得了最先进（SOTA）的结果，且无需任务特定的标注或专用架构设计。

ABSTRACT

Attribute values of the products are an essential component in any e-commerce platform. Attribute Value Extraction (AVE) deals with extracting the attributes of a product and their values from its title or description. In this paper, we propose to tackle the AVE task using generative frameworks. We present two types of generative paradigms, namely, word sequence-based and positional sequence-based, by formulating the AVE task as a generation problem. We conduct experiments on two datasets where the generative approaches achieve the new state-of-the-art results. This shows that we can use the proposed framework for AVE tasks without additional tagging or task-specific model design.

研究动机与目标

• 为解决序列标注方法在属性值抽取（AVE）中的局限性，这些方法需要任务特定的标注，且在大规模属性集合上难以扩展。
• 探索生成式模型是否可以在不依赖预定义标签集或每个属性单独模型的情况下，联合抽取属性及其值。
• 评估两种新颖的生成式建模范式——基于词序列的和基于位置序列的——在端到端 AVE 中的有效性。
• 证明生成式模型在联合抽取和单个属性/值预测任务中均优于现有基于标注的方法。
• 研究该方法在包含单个与多个属性-值对的句子上的鲁棒性。

提出的方法

• 通过将输入的产品标题转换为属性-值对的结构化输出序列，将 AVE 任务建模为文本生成问题。
• 提出一种基于词序列的范式，其中每个属性-值对以 'value; attribute' 形式生成，并以 '|' 分隔，从而实现两个组件的联合生成。
• 引入一种基于位置序列的范式，其中每对表示为 '[start_pos] [end_pos] attribute'，模型生成对应跨度和相应属性。
• 采用预训练的序列到序列模型——T5、BART、WDec 和 PNDec——作为生成主干，从输入标题解码目标序列。
• 使用交叉熵损失端到端训练模型，以最小化生成结果与标准参考属性-值序列之间的差异。
• 应用后处理步骤以过滤无效输出（例如，缺少起始/结束位置或不完整的属性-值对），并使用标准 F1 分数进行评估。

实验结果

研究问题

• RQ1 生成式模型是否能在无需任务特定标注或模型设计的情况下，有效实现属性与值的联合抽取？
• RQ2 在不同数据集上，基于词序列的范式与基于位置序列的范式在性能和鲁棒性方面如何比较？
• RQ3 该生成式方法是否在 AVE 任务中优于现有的序列标注和基于问答的方法？
• RQ4 模型在包含单个与多个属性-值对的句子上的表现如何？
• RQ5 生成式模型在训练数据中未标注的属性-值对上，其泛化能力达到何种程度？

主要发现

• 所提出的生成式框架在 AV-DATA-V1 和 AV-MAE 两个数据集上均取得了最先进（SOTA）结果，其中 T5 在基于词序列的范式下于 AV-MAE 上达到 78.36 的 F1 分数。
• 在 AV-DATA-V1 数据集中，BART 在基于词序列的范式下实现了联合属性值抽取的最高 F1 得分 64.81。
• 使用 T5 的基于位置序列的范式在 AV-MAE 上达到 70.16 的 F1 分数，优于 BERT-NER（多值情形下 F1 为 85.40，但联合抽取表现更低）。
• 生成式模型在处理多个属性-值对时，表现出对基于标注模型（如 BERT-NER 和 SUOT）的一致优势。
• 在基于词序列的范式中，模型对训练过程中属性-值对顺序的重排具有鲁棒性，表明其具备强大的泛化能力。
• 尽管生成了一些未在标准参考中出现的有效但未标注的属性-值对，模型仍保持了较高的精确率与召回率，表明其具备强大的泛化能力。