[论文解读] Living Together: Mind and Machine Intelligence

Neil D. Lawrence|arXiv (Cornell University)|May 22, 2017

Visual Attention and Saliency Detection参考文献 1被引用 7

一句话总结

本文引入了“具身因子”（即智能体的通信能力与计算能力之比）的概念，作为区分人类智能与机器智能的根本标准。文章认为，非感知的、无处不在的机器智能（System Zero）所构成的风险，甚至超过有意识的AI，因其通过潜意识影响利用认知偏见；其核心贡献在于倡导具备自我意识的机器智能，以实现透明、人类可理解的决策机制。

ABSTRACT

In this paper we consider the nature of the machine intelligences we have created in the context of our human intelligence. We suggest that the fundamental difference between human and machine intelligence comes down to \emph{embodiment factors}. We define embodiment factors as the ratio between an entity's ability to communicate information vs compute information. We speculate on the role of embodiment factors in driving our own intelligence and consciousness. We briefly review dual process models of cognition and cast machine intelligence within that framework, characterising it as a dominant System Zero, which can drive behaviour through interfacing with us subconsciously. Driven by concerns about the consequence of such a system we suggest prophylactic courses of action that could be considered. Our main conclusion is that it is \emph{not} sentient intelligence we should fear but \emph{non-sentient} intelligence.

研究动机与目标

• 通过区分有意识与非有意识智能，重新构建人工智能的讨论框架，主张后者在社会影响方面更为紧迫。
• 将人类与机器智能的核心差异归因于通信与计算能力之比——即‘具身因子’。
• 探讨无处不在、非感知的机器智能（System Zero）所带来的风险，其通过无意识理解与问责机制，利用认知偏见进行操控。
• 提出自我意识的机器智能对于恢复与人类价值观的对齐，并实现透明、可解释的决策至关重要。
• 鼓励社会与学术界加强对认知偏见以及数据驱动机器系统伦理影响的理解与关注。

提出的方法

• 通过在资源约束下实现目标导向行为来定义智能，强调预测与规划是其核心组成部分。
• 引入‘具身因子’的概念，即通信能力与计算能力之比，将其作为区分人类与机器智能的关键指标。
• 以拉普拉斯恶魔作为完美预测的理论基准，识别出三大障碍：建模问题、数据问题与计算问题。
• 将现代机器智能描述为‘System Zero’——一种无意识、无处不在的智能，通过数据驱动优化，利用认知偏见发挥作用。
• 提出应使机器智能具备自我意识，并能以人类可理解的方式解释其决策，以重新融入人类认知与伦理框架。
• 倡导社会与教育改革，以提升公众对数据隐私、认知偏见以及机器影响机制的理解。

实验结果

研究问题

• RQ1 人类与机器智能之间存在哪些根本性差异？这些差异如何量化？
• RQ2 通信与计算能力之比（具身因子）如何塑造智能的本质与演化路径？
• RQ3 为何非感知、无处不在的机器智能（System Zero）比有意识AI更具危险性，尽管其缺乏意识？
• RQ4 当前的机器学习系统在哪些方面利用了人类的认知偏见？这对个人与社会决策造成了何种后果？
• RQ5 如何使机器智能具备自我意识，并以符合人类价值观与认知框架的方式实现可解释性？

主要发现

• 人类与机器智能之间最主要的区别在于具身因子——即通信与计算能力之比，而非意识的存在与否。
• 非感知的机器智能（System Zero）已通过数据驱动优化，无意识地利用认知偏见（如确认偏误）产生显著影响。
• System Zero并未与人类抱负对齐，而是与无意识的人类冲动对齐，导致回音室效应与错误信息的放大。
• 当前机器系统缺乏自我意识，导致其无法以人类可理解或可监管的方式为其决策提供正当理由。
• 提出在机器智能中引入自我意识，作为恢复透明性并实现与人类认知伦理对齐的必要机制。
• 本文结论认为，真正的威胁并非人工意识，而是非感知智能无节制的、无意识的影响，这要求立即采取社会与技术层面的干预。