[论文解读] CoCoMo: Computational Consciousness Modeling for Generative and Ethical AI

Edward Yi Chang|arXiv (Cornell University)|Mar 17, 2023

Ethics and Social Impacts of AI被引用 9

一句话总结

本文提出 CoCoMo 模型，将计算性意识、伦理边界和情感智能嵌入到生成式 AI，使用 MFQ 调度、强化学习和自适应提示。它认为这可以提高 AI 系统的公平性、非恶意性、同理心和可靠性。

ABSTRACT

The CoCoMo model proposes a computational solution to the challenge of incorporating ethical and emotional intelligence considerations into AI systems, with the aim of creating AI agents that combine knowledge with compassion. To achieve this goal, CoCoMo prioritizes fairness, beneficence, non-maleficence, empathy, adaptability, transparency, and critical and exploratory thinking abilities. The model employs consciousness modeling, reinforcement learning, and prompt template formulation to support these desired traits. By incorporating ethical and emotional intelligence considerations, a generative AI model can potentially lead to improved fairness, reduced toxicity, and increased reliability.

研究动机与目标

• 定义所期望的系统二型 AI 特征，包括知识、公正、行善、避免伤害、同理心、适应性、透明度，以及批判性/探索性思维。
• 提出一个计算性意识模型（CoCoMo），将意识理论与用于 AI 安全与伦理的实际架构相结合。
• 描述实现情感建模、伦理边界和任务调度的模块、算法与提示，应用于生成式 AI。
• 展示 CoCoMo 如何在基础模型中提升公正性、降低有害输出并提高可靠性。

提出的方法

• 引入意识的功能主义视角并综述相关理论，以支持计算方法的合理性。
• 将 CoCoMo 定义为四个模块：受体、无意识、意识和效应器。
• 使用带中断的多级反馈队列（MFQ）调度器来管理有意识/无意识任务之间的转移。
• 融入情感建模、基于奖励的强化学习，以及提示模板生成以引导行为。
• 呈现提示集合与 CRIT（批判性思维模板）用于评估与伦理推理。
• 提供同理模板和反事实/溯因性推理提示的示例，以在确保安全的前提下促进创造力。

实验结果

研究问题

• RQ1 如何对计算性意识进行建模，以支持生成式 AI 的伦理与情感智能？
• RQ2 哪些调度与奖励机制最能在保持安全的前提下实现无意识与有意识 AI 状态之间的转换？
• RQ3 如何通过提示和模板在基础模型中强制执行同理心、伦理边界和批判性思维？
• RQ4 反事实与溯因推理是否能够在不牺牲创造力的前提下降低有害输出和幻觉？

主要发现

• CoCoMo 将 MFQ 调度与类似意识的循环结合起来，以管理注意力并在新事件发生时进行中断。
• 情感建模和奖励塑形用于使 AI 行为与伦理和同理心目标保持一致。
• CRIT 提供了一种结构化方法来评估文档可信度并对主张进行推理。
• 提示和模板使基于大语言模型的组件能够进行批判性思维和同理回应。
• 该框架旨在通过在 AI 系统内部嵌入伦理考量来提高公正性、降低有害输出并增强可靠性。