[论文解读] Citation: A Key to Building Responsible and Accountable Large Language Models

Jie Huang, Kevin Chen–Chuan Chang|arXiv (Cornell University)|Jul 5, 2023

FinTech, Crowdfunding, Digital Finance被引用 11

一句话总结

本文主张在大模型（LLMs）中内嵌一个引用机制，以提高透明度、问责制，以及知识产权/伦理治理，覆盖非参数内容和参数内容。它讨论实现策略、潜在风险以及研究议程。

ABSTRACT

Large Language Models (LLMs) bring transformative benefits alongside unique challenges, including intellectual property (IP) and ethical concerns. This position paper explores a novel angle to mitigate these risks, drawing parallels between LLMs and established web systems. We identify "citation" - the acknowledgement or reference to a source or evidence - as a crucial yet missing component in LLMs. Incorporating citation could enhance content transparency and verifiability, thereby confronting the IP and ethical issues in the deployment of LLMs. We further propose that a comprehensive citation mechanism for LLMs should account for both non-parametric and parametric content. Despite the complexity of implementing such a citation mechanism, along with the potential pitfalls, we advocate for its development. Building on this foundation, we outline several research problems in this area, aiming to guide future explorations towards building more responsible and accountable LLMs.

研究动机与目标

• 通过将其与Web和搜索引擎进行类比，推动在LLMs中管理知识产权和伦理问题的必要性。
• 引入引用的概念，作为LLMs中缺失但至关重要的组成部分，以提升透明度和问责性。
• 勾勒对非参数内容进行引用及对参数内容进行归属的潜在策略。
• 确定主要挑战与研究问题，为未来负责任的LLMs的发展提供指引。

提出的方法

• 定义在LLM输出中何时以及如何使用引用（对非参数内容的先验/后验）。
• 提出一个将LLMs与信息检索相结合的混合系统，以提供非参数内容的引用。
• 讨论源标识符或令牌，以追溯参数内容的来源。
• 评估潜在的陷阱和障碍，包括幻觉、引用偏见和法律影响。

实验结果

研究问题

• RQ1 LLMs 在何时应为生成的信息提供引用？
• RQ2 LLMs 如何通过检索增强方法引用非参数内容？
• RQ3 LLMs 如何将参数内容归属于训练数据来源？
• RQ4 LLMs 的引用机制存在哪些主要陷阱？如何缓解？
• RQ5 为实现LLMs中可靠、最新且无偏的引用，需要解决哪些研究问题？

主要发现

• 通过标示来源并实现可验证性，引用可以解决知识产权和伦理问题。
• 非参数内容可以通过先验检索或后验插入进行引用，可能结合使用以增强鲁棒性。
• 由于高维训练表示，参数内容的归属存在挑战；源标识符是潜在的解决方案。
• 引用带来诸如过度引用、来源不准确或过时、错误信息传播、偏见以及创造力下降等风险。
• 提出一个广泛的研究议程，以解决引用启用的LLMs在时效性、准确性、可靠性、偏见和法律问题上的挑战。