[论文解读] Evaluating Verifiability in Generative Search Engines

Nelson F. Liu, Tianyi Zhang+1 more|arXiv (Cornell University)|Apr 19, 2023

Misinformation and Its Impacts被引用 14

一句话总结

本文审查四个商业生成式搜索引擎的可验证性，发现流畅性高但引文召回率（51.5%）和精确度（74.5%）较低，准确性问题影响信任。

ABSTRACT

Generative search engines directly generate responses to user queries, along with in-line citations. A prerequisite trait of a trustworthy generative search engine is verifiability, i.e., systems should cite comprehensively (high citation recall; all statements are fully supported by citations) and accurately (high citation precision; every cite supports its associated statement). We conduct human evaluation to audit four popular generative search engines -- Bing Chat, NeevaAI, perplexity.ai, and YouChat -- across a diverse set of queries from a variety of sources (e.g., historical Google user queries, dynamically-collected open-ended questions on Reddit, etc.). We find that responses from existing generative search engines are fluent and appear informative, but frequently contain unsupported statements and inaccurate citations: on average, a mere 51.5% of generated sentences are fully supported by citations and only 74.5% of citations support their associated sentence. We believe that these results are concerningly low for systems that may serve as a primary tool for information-seeking users, especially given their facade of trustworthiness. We hope that our results further motivate the development of trustworthy generative search engines and help researchers and users better understand the shortcomings of existing commercial systems.

研究动机与目标

• 将引文召回率和引文精确度定义为评估生成式搜索引擎可验证性的指标。
• 在多样化查询分布上对四个商业引擎进行大规模人工评估。
• 分析流畅性、感知有用性与可验证性在实际中的相互作用。
• 提供开放注释以支持关于可验证的生成式搜索引擎的进一步研究。

提出的方法

• 定义验证指标：引文召回率、引文精确度和引文F1。
• 将每个回答分成陈述及其相关引文以衡量支撑度。
• 使用 AIS（标注为已识别来源）判断来评估陈述是否得到引文充分支持。
• 通过注释者在5点李克特量表上的判断来评估流畅性和感知有用性。
• 在四个引擎中，对12种查询分布进行评估，总共1450个查询。
• 发布注释数据以促进可重复性。

实验结果

研究问题

• RQ1 在流行的生成式搜索引擎中，引文召回率和引文精确度的水平是多少？
• RQ2 在实际中，流畅性和感知有用性如何与可验证性指标相关？
• RQ3 系统是否在召回率和精确度之间存在权衡，这种权衡如何影响用户感知？
• RQ4 更高的引文精确度是否与更高的与被引来源的相似度相关，这与感知有用性有何关系？

主要发现

• 在各引擎中，只有51.5%的生成句子得到引文的充分支持（召回率）。
• 只有74.5%的引文能够充分支持其相关陈述（精确度）。
• 感知有用性与引文精确度呈显著负相关（r = -0.96）。
• perplexity.ai 取得最高的平均引文召回率（68.7），而 Bing Chat 取得最高的平均精确度（89.5）。
• Bing Chat 经常复制来源文本，因此精确度较高，但由于相关性欠缺导致感知有用性较低。
• YouChat 的引文精确度偏低，但感知有用性较高，体现了忠实性与有用性之间的权衡。