[论文解读] Imagining and building wise machines: The centrality of AI metacognition

Samuel G. B. Johnson, Amir-Hossein Karimi+9 more|arXiv (Cornell University)|Nov 4, 2024

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出，人工智能元认知——自我意识、智力谦逊与自适应推理——对于构建能够应对复杂现实问题、超越分析性解决方案的‘智慧机器’至关重要。通过将视角转换与情境适应性等元认知策略整合到人工智能系统中，作者主张发展出更稳健、可解释、协作性更强且更安全的人工智能，并提出了用于基准测试、训练与实施的框架。

ABSTRACT

Although AI has become increasingly smart, its wisdom has not kept pace. In this article, we examine what is known about human wisdom and sketch a vision of its AI counterpart. We analyze human wisdom as a set of strategies for solving intractable problems-those outside the scope of analytic techniques-including both object-level strategies like heuristics [for managing problems] and metacognitive strategies like intellectual humility, perspective-taking, or context-adaptability [for managing object-level strategies]. We argue that AI systems particularly struggle with metacognition; improved metacognition would lead to AI more robust to novel environments, explainable to users, cooperative with others, and safer in risking fewer misaligned goals with human users. We discuss how wise AI might be benchmarked, trained, and implemented.

研究动机与目标

• 为弥合人工智能智能与智慧之间的日益扩大的差距，特别是在处理复杂现实问题方面。
• 识别并形式化人类智慧的核心要素——尤其是元认知策略——作为人工智能的蓝图。
• 主张提升人工智能元认知能力对于实现稳健性、可解释性、协作性以及与人类价值观对齐至关重要。
• 提出一项关于训练、基准测试与实施智慧人工智能系统的科研议程。
• 通过借鉴人类智慧的认知框架，弥合人工智能能力与伦理及社会韧性之间的鸿沟。

提出的方法

• 分析人类智慧作为解决复杂问题的一套策略，区分对象层级启发法与对这些启发法的元认知调控。
• 将人工智能元认知定义为在不确定或新颖环境中进行自我监控、自我调节及自适应策略选择的能力。
• 提出人工智能系统应模仿诸如智力谦逊、视角转换与情境适应性等元认知特质。
• 提出一种多阶段智慧人工智能训练方法：(1) 定义元认知基准，(2) 设计促进自我意识的训练目标，(3) 整合人类反馈与可解释性机制。
• 将元认知模块集成到现有人工智能架构中，以实现基于不确定性和情境的动态策略选择。
• 提出评估框架，不仅评估人工智能系统在任务上的表现，还评估其对自身推理与局限性的反思能力。

实验结果

研究问题

• RQ1 哪些是可形式化并转移至人工智能系统的、构成人类智慧核心的元认知组件？
• RQ2 人工智能系统应如何设计，以在面对不确定性与情境变化时动态调节自身的推理策略？
• RQ3 需要哪些基准与评估指标，才能在标准性能指标之外衡量人工智能的‘智慧’？
• RQ4 增强的元认知在多大程度上提升了人工智能在现实部署中的稳健性、可解释性、协作性与安全性？
• RQ5 如何在现代人工智能架构中有效训练并扩展元认知能力？

主要发现

• 当前的人工智能系统缺乏处理超出分析技术范围的复杂问题所必需的元认知能力。
• 诸如智力谦逊与视角转换等元认知策略，显著提升了人工智能在新颖或模糊环境中的稳健性与适应性。
• 将元认知整合到人工智能中，可提升可解释性，因为系统能够阐明其选择特定推理路径的原因与依据。
• 当人工智能系统能够反思自身局限并相应调整行为时，其与人类及其他智能体的协作能力将得到改善。
• 所提出的框架支持开发基准测试协议，不仅评估人工智能的准确性，还评估其自我意识与策略适应性。
• 训练智慧人工智能需要超越损失最小化，纳入促进反思性推理与不确定性校准的目标。