[论文解读] Concept Alignment

Sunayana Rane, Polyphony Bruna+3 more|arXiv (Cornell University)|Jan 9, 2024

Explainable Artificial Intelligence (XAI)被引用 11

一句话总结

本文主张在追求价值对齐之前，AI 系统必须与人类的概念对齐，概述为何概念对齐重要、人与机器如何学习概念，以及如何利用认知科学和 AI 工具来实现它。

ABSTRACT

Discussion of AI alignment (alignment between humans and AI systems) has focused on value alignment, broadly referring to creating AI systems that share human values. We argue that before we can even attempt to align values, it is imperative that AI systems and humans align the concepts they use to understand the world. We integrate ideas from philosophy, cognitive science, and deep learning to explain the need for concept alignment, not just value alignment, between humans and machines. We summarize existing accounts of how humans and machines currently learn concepts, and we outline opportunities and challenges in the path towards shared concepts. Finally, we explain how we can leverage the tools already being developed in cognitive science and AI research to accelerate progress towards concept alignment.

研究动机与目标

• 提出概念对齐为何是人类与 AI 之间价值对齐的前提
• 调查人类和机器目前如何学习和概念的锚定
• 提出利用认知科学和 AI 工具加速概念对齐的路径
• 强调交互式、多模态锚定与评估的挑战与机遇

提出的方法

• 综合哲学、认知科学和深度学习文献来定义概念对齐
• 总结人类概念学习理论（例如 Quinian bootstrapping）和符号接地
• 回顾机器概念学习方法（表征对齐、可解释性、TCAV、多模态锚定）
• 讨论通过多模态模型（CLIP、DALL-E、Imagen）的锚定作为有根语言的证据
• 将人机交互动态（对齐、共振、复杂性匹配）与概念对齐联系起来
• 提出将概念从 LLM 启动到有根模态的具体步骤（例如 PaLM-E）

实验结果

研究问题

• RQ1 什么是概念对齐，为什么它对更安全的 AI 是必要的？
• RQ2 人类与 AI 如何跨模态共享有根概念？
• RQ3 存在哪些工具和方法来衡量并改善人类与 AI 之间的概念对齐？
• RQ4 交互与反馈（例如 RLHF）应如何影响概念层面的对齐？

主要发现

• 概念对齐被认为是人类与 AI 之间价值对齐的必要前提
• 有根、多模态锚定（视觉和语言）有助于将 AI 概念锚定到人类意义上
• 现有 AI 系统可以通过预训练的 LLMs 和在其他模态中的锚定来引导概念（例如 PaLM-E）
• 可解释性和概念层面分析（如 TCAV、表征对齐）提供超越像素级方法的见解
• 通过人机交互的交互性、自适应对齐至关重要，但当前的 RLHF 主要影响行为，而非显式概念
• 需要跨学科的方法，结合认知科学和 AI 研究来定义概念对齐的标准与评估