[论文解读] Generating Synthetic Documents for Cross-Encoder Re-Rankers: A Comparative Study of ChatGPT and Human Experts

Arian Askari, Mohammad Aliannejadi+2 more|arXiv (Cornell University)|May 3, 2023

Topic Modeling被引用 4

一句话总结

本研究评估了使用ChatGPT生成的合成文档与人工生成的回答在训练交叉编码器重排序模型中的有效性。研究提出了ChatGPT-RetrievalQA数据集，并发现，在零样本设置下，基于大语言模型生成数据微调的模型优于基于人工数据训练的模型，而人工训练的模型在监督设置下仍表现更优，凸显了大语言模型在低资源场景下进行数据增强的潜力。

ABSTRACT

We investigate the usefulness of generative Large Language Models (LLMs) in generating training data for cross-encoder re-rankers in a novel direction: generating synthetic documents instead of synthetic queries. We introduce a new dataset, ChatGPT-RetrievalQA, and compare the effectiveness of models fine-tuned on LLM-generated and human-generated data. Data generated with generative LLMs can be used to augment training data, especially in domains with smaller amounts of labeled data. We build ChatGPT-RetrievalQA based on an existing dataset, human ChatGPT Comparison Corpus (HC3), consisting of public question collections with human responses and answers from ChatGPT. We fine-tune a range of cross-encoder re-rankers on either human-generated or ChatGPT-generated data. Our evaluation on MS MARCO DEV, TREC DL'19, and TREC DL'20 demonstrates that cross-encoder re-ranking models trained on ChatGPT responses are statistically significantly more effective zero-shot re-rankers than those trained on human responses. In a supervised setting, the human-trained re-rankers outperform the LLM-trained re-rankers. Our novel findings suggest that generative LLMs have high potential in generating training data for neural retrieval models. Further work is needed to determine the effect of factually wrong information in the generated responses and test our findings' generalizability with open-source LLMs. We release our data, code, and cross-encoders checkpoints for future work.

研究动机与目标

• 探究类似ChatGPT的生成式大语言模型是否能够生成高质量的合成文档以用于训练交叉编码器重排序模型。
• 在监督和零样本设置下，比较基于ChatGPT生成回答与人工生成回答微调的交叉编码器模型的性能。
• 评估大语言模型生成数据在不同领域中的有效性，特别是医学等专业领域。
• 评估在标注的人工回答稀缺时，使用大语言模型生成的回答来增强训练数据的可行性。
• 发布一个新的数据集ChatGPT-RetrievalQA，以支持未来在检索和基于大语言模型的数据增强方面的研究。

提出的方法

• 作者通过从HC3数据集中提取查询和回答，构建了ChatGPT-RetrievalQA数据集，该数据集包含人工和ChatGPT生成的答案。
• 在两个数据划分上对交叉编码器重排序模型进行了微调：一个使用人工生成的回答，另一个使用ChatGPT生成的回答。
• 在MS MARCO Dev、TREC DL’19和TREC DL’20基准上，对模型在监督和零样本设置下的表现进行了评估。
• 使用BM25作为基线，比较在训练集、验证集和测试集上，人工生成和ChatGPT生成回答的检索效果。
• 分析了查询与回答之间的词汇重叠，以理解性能差异的潜在原因。
• 模拟了零样本场景，即模型在已见查询但未见人工生成文档上进行测试，以评估其泛化能力。

Figure 1. Our main experimental setup involves above steps.

实验结果

研究问题

• RQ1 在监督和零样本设置下，基于ChatGPT生成回答微调的交叉编码器重排序模型，其有效性与基于人工生成回答微调的模型相比如何？
• RQ2 在特定领域与通用领域中，使用ChatGPT生成相关文档的有效性有何差异？
• RQ3 查询与回答之间的词汇重叠在多大程度上影响了人工生成与大语言模型生成回答的检索性能？
• RQ4 当标注的人工回答稀缺时，大语言模型生成的合成文档能否有效增强训练数据？

主要发现

• 在零样本设置下，基于ChatGPT生成回答微调的交叉编码器模型在MS MARCO Dev、TREC DL’19和TREC DL’20上显著优于基于人工回答微调的模型。
• 在MS MARCO Dev数据集上，基于ChatGPT回答微调的MiniLM模型的NDCG@10得分为0.388，而BM25的得分为0.202，表明其对未见人工文档具有强大的泛化能力。
• 在监督设置下，人工训练的重排序模型略优于大语言模型训练的模型，其中MiniLM人工模型的NDCG@10高于MiniLM ChatGPT模型。
• ChatGPT生成的回答与查询之间的平均词汇重叠率为34.6%，而人工回答为25.5%，表明前者具有更高的词汇一致性，可能有助于检索。
• 在所有数据划分中，BM25在人工生成回答上的检索性能始终低于在ChatGPT生成回答上的性能，表明人工回答更难与查询匹配。
• 本研究证明，大语言模型生成的数据可作为训练有效零样本重排序模型的可行替代方案，尤其在标注人工数据稀缺时。