[论文解读] Case Repositories: Towards Case-Based Reasoning for AI Alignment

K. J. Kevin Feng, Quan Ze Chen+3 more|arXiv (Cornell University)|Nov 18, 2023

Artificial Intelligence in Law被引用 5

一句话总结

本文提出一种基于案例推理（CBR）的框架，通过构建特定领域的价值导向AI交互案例库，以改善人工智能对齐问题。该框架结合专家研讨会、大语言模型生成的案例变体以及公众众包，创建了一个动态、由社区参与的案例库，通过基于先例的推理引导伦理AI行为，为自上而下的宪法式AI方法提供一种多元化的替代方案。

ABSTRACT

Case studies commonly form the pedagogical backbone in law, ethics, and many other domains that face complex and ambiguous societal questions informed by human values. Similar complexities and ambiguities arise when we consider how AI should be aligned in practice: when faced with vast quantities of diverse (and sometimes conflicting) values from different individuals and communities, with whose values is AI to align, and how should AI do so? We propose a complementary approach to constitutional AI alignment, grounded in ideas from case-based reasoning (CBR), that focuses on the construction of policies through judgments on a set of cases. We present a process to assemble such a case repository by: 1) gathering a set of ``seed'' cases -- questions one may ask an AI system -- in a particular domain, 2) eliciting domain-specific key dimensions for cases through workshops with domain experts, 3) using LLMs to generate variations of cases not seen in the wild, and 4) engaging with the public to judge and improve cases. We then discuss how such a case repository could assist in AI alignment, both through directly acting as precedents to ground acceptable behaviors, and as a medium for individuals and communities to engage in moral reasoning around AI.

研究动机与目标

• 解决自上而下的宪法式AI方法存在的局限性，这些方法可能强加霸权性价值观，提出一种互补的、基于先例的方法，以真实世界案例为基础。
• 开发一种可扩展的、迭代的案例库构建流程，反映不同社群中多样的价值观和道德推理。
• 使AI系统能够从语境化、蕴含价值的判断中学习，而非仅依赖抽象原则或偏好标签。
• 通过让领域专家和公众参与案例评估，推动AI对齐中的民主参与，共同塑造伦理AI行为。
• 创建一种与模型无关、可移植的伦理AI指导资源，可在不同模型和领域中重复使用。

提出的方法

• 从在线话语（如Reddit）和现有案例研究中收集‘种子’案例，以代表目标领域中的真实世界AI交互场景。
• 通过专家研讨会识别用于评估AI响应的领域特定维度（例如，公平性、自主性、伤害性）。
• 利用大语言模型基于种子案例和专家识别的维度生成合成案例变体，系统性地扩展案例空间。
• 通过众包方式让公众参与判断AI响应的适当性，以提升案例质量和多样性。
• 通过从真实AI交互中衍生的新案例，持续扩展案例库，确保其持续的相关性和适应性。
• 将案例库设计为与模型无关的资源，以支持不同大语言模型检索和基于先例进行推理。

(a) Kolodner (1992).

实验结果

研究问题

• RQ1 如何将基于案例推理实际应用于复杂、蕴含价值的领域，以支持伦理AI对齐？
• RQ2 专家提取的维度和公众判断在构建多元、反映价值的案例库中发挥什么作用？
• RQ3 如何高效利用大语言模型扩展案例空间，同时保持伦理细微差别和观点多样性？
• RQ4 案例库在AI开发中如何作为民主化道德推理的媒介？
• RQ5 如何使案例库具备可移植性、可重用性，并适应不同AI模型和社会情境？

主要发现

• 所提出的流程在法律咨询领域成功生成了一组多样且细致的案例，证明了其在现实世界部署中的可行性。
• 专家研讨会揭示了稳定且与领域相关的评估维度（如法律先例、客户自主性），可指导AI响应的伦理评估。
• 大语言模型生成的案例变体显著扩展了案例空间，同时保持了语境和伦理的一致性。
• 公众众包提供了宝贵的多样化判断，提升了案例质量，并揭示了仅靠专家无法捕捉的价值冲突。
• 由此产生的案例库支持与模型无关的对齐，使不同大语言模型能够检索并基于共享先例进行推理。
• 迭代的、由社区驱动的流程能够根据社会价值观的演变和新出现的边缘案例，持续优化AI行为。

(b) Craw & Aamodt (2018).