[论文解读] Ask Me What You Need: Product Retrieval using Knowledge from GPT-3

Su Young Kim, Hyeonjin Park+2 more|arXiv (Cornell University)|Jul 6, 2022

Topic Modeling被引用 10

一句话总结

本文提出了一种基于 GPT-3 的产品检索系统，通过 p-tuning 利用模型内部的知识库来回答意图驱动的查询（如“母亲节我该送我妈妈什么？”），而无需显式关键词。通过直接提示 GPT-3 预测产品类别，该方法在冷启动场景下实现了最先进性能，在真实世界数据集上的 HR@300 指标相比 BERT 和 BM25 最高提升 15.1%。

ABSTRACT

As online merchandise become more common, many studies focus on embedding-based methods where queries and products are represented in the semantic space. These methods alleviate the problem of vocab mismatch between the language of queries and products. However, past studies usually dealt with queries that precisely describe the product, and there still exists the need to answer imprecise queries that may require common sense knowledge, i.e., 'what should I get my mom for Mother's Day.' In this paper, we propose a GPT-3 based product retrieval system that leverages the knowledge-base (KB) of GPT-3 for question answering; users do not need to know the specific illustrative keywords for a product when querying. Our method tunes prompt tokens of GPT-3 to prompt knowledge and render answers that are mapped directly to products without further processing. Our method shows consistent performance improvement on two real-world and one public dataset, compared to the baseline methods. We provide an in-depth discussion on leveraging GPT-3 knowledge into a question answering based retrieval system.

研究动机与目标

• 解决缺乏特定关键词的模糊意图查询所带来的产品检索挑战。
• 利用 GPT-3 内部知识库作为隐式知识源进行产品检索，无需外部知识库。
• 提升在训练期间未见过的产品或查询语义的冷启动查询性能。
• 评估 p-tuning 与微调以及模型规模扩展在检索任务中的效果。

提出的方法

• 检索模型使用提示模板：[PROMPT 1:d] [query] [MASK]，其中可学习的连续提示标记通过 p-tuning 进行优化。
• 通过标记级别 logits 的加权和计算类别得分：$ s_i = Σ_j \alpha_j \mathcal{M}(t_j|\tilde{q}) $。
• 仅更新提示嵌入，使用交叉熵损失训练，保持 GPT-3 的预训练参数不变。
• 根据类别得分选择 Top-K 类别，再通过类别到产品的映射表映射为候选产品。
• 最终排序使用独立的排序模型对候选产品进行打分并重新排序。
• 系统避免微调 GPT-3 以防止灾难性遗忘，转而依赖提示微调来访问其知识。

实验结果

研究问题

• RQ1 能否在无需外部知识库的情况下，有效利用 GPT-3 的内部知识进行产品检索？
• RQ2 在将 GPT-3 适配于检索任务时，p-tuning 与微调相比表现如何？
• RQ3 增加 GPT-3 模型规模是否能显著提升其在意图查询上的检索性能？
• RQ4 该系统能否泛化到训练期间未见过的冷启动查询？
• RQ5 在标准设置和分布外设置下，该方法与 BERT 和 BM25 相比表现如何？

主要发现

• 所提方法在 Gift 数据集上达到 15.14% 的 HR@300，相比 BERT 提升 15.0%，相比次优基线提升 15.1%。
• 13B 参数的 GPT-3 模型显著优于较小模型，HR@300 从 1.3B 模型的 0.0628 提升至 13B 模型的 0.1514。
• p-tuning 显著优于零样本和微调后的 GPT-3，137M 参数的 p-tuned 模型性能超过 1.3B 参数的微调模型。
• 在冷启动测试集上，该方法达到 0.0262 的 HR@300，相比基于 BERT 的检索（0.0141）提升 85.8%。
• 该系统在公开 QA 数据集上也表现出泛化能力，在 Google LLC 数据集上优于 BM25 和 BERT。
• 消融实验表明，p-tuning 避免了灾难性遗忘，相比微调更能更好地保留 GPT-3 的预训练知识。