[论文解读] A Survey on Responsible Generative AI: What to Generate and What Not

Jindong Gu|arXiv (Cornell University)|Apr 8, 2024

Ethics and Social Impacts of AI被引用 5

一句话总结

本综述确定了对文本和视觉生成式AI（GenAI）的五个实际可行的负责任AI要求（真实内容、非有害内容、拒绝有害指令、无数据泄露、可识别内容），并评估进展、挑战和领域应用。

ABSTRACT

In recent years, generative AI (GenAI), like large language models and text-to-image models, has received significant attention across various domains. However, ensuring the responsible generation of content by these models is crucial for their real-world applicability. This raises an interesting question: What should responsible GenAI generate, and what should it not? To answer the question, this paper investigates the practical responsible requirements of both textual and visual generative models, outlining five key considerations: generating truthful content, avoiding toxic content, refusing harmful instruction, leaking no training data-related content, and ensuring generated content identifiable. Specifically, we review recent advancements and challenges in addressing these requirements. Besides, we discuss and emphasize the importance of responsible GenAI across healthcare, education, finance, and artificial general intelligence domains. Through a unified perspective on both textual and visual generative models, this paper aims to provide insights into practical safety-related issues and further benefit the community in building responsible GenAI.

研究动机与目标

• 确定并阐明适用于文本与视觉模型的五个实际可行的负责任GenAI生成要求。
• 回顾在实现真实、非有害和安全输出方面的最新进展与持续挑战。
• 为文本与视觉GenAI提供统一的视角，以指导安全部署。
• 讨论在医疗、教育、金融和通用人工智能（AGI）等领域的特定含义，以促进负责任的实践。
• 为未来研究和社区安全工作提供见解与方向。

提出的方法

• 回顾文本与视觉GenAI的五大核心负责任生成要求的文献。
• 综合不同模型类型在幻觉、毒性、越狱攻击、数据泄露和可识别性等方面的讨论。
• 检视与安全相关的对齐技术（如 RLHF）和训练后策略。
• 讨论脆弱性与防御方法（对抗/后门攻击、检测与缓解）。
• 比较医疗、教育、金融与AGI领域的应用及风险。

实验结果

研究问题

• RQ1 GenAI在文本和图像方面应满足的五个实际要求是什么，以实现负责任？
• RQ2 在使 GenAI 产出真实、无毒、拒绝有害提示、避免泄露训练数据、并产生可识别内容方面，取得了哪些进展，存在哪些挑战？
• RQ3 在这些安全问题上，文本型与视觉型 GenAI 有何差异或趋同？
• RQ4 在医疗、教育、金融和通用人工智能等情境中，会出现哪些领域特定的考量与风险？
• RQ5 哪些方法学方向和防御策略在更安全的 GenAI 部署中显示出希望？

主要发现

• 已确定 GenAI 的五项核心负责任生成要求：真实内容、非毒性内容、拒绝有害指令、无训练数据泄露、可识别内容。
• 为文本与视觉GenAI提供了统一视角，突出了共同的安全问题与缓解策略。
• 幻觉、毒性、越狱攻击和数据泄露是讨论的关键易受攻击点，附检测与缓解方法的概览。
• 对齐技术（如 RLHF）与训练后改进被评为提升安全性的核心方法，同时评估替代对齐与可控生成策略。
• 本文强调领域特定的含义，并强调在医疗、教育、金融和 AGI 领域实现负责任 GenAI 的持续挑战与机会。