[论文解读] Intensional Artificial Intelligence: From Symbol Emergence to Explainable and Empathetic AI

Michael Timothy Bennett, Yoshihiro Maruyama|arXiv (Cornell University)|Apr 23, 2021

Cognitive Science and Education Research参考文献 25被引用 13

一句话总结

本文提出了意向性人工智能（Intensional AI），一种智能体通过学习任务背后的意图（意向性解决方案）而非仅正确输出（外延性解决方案）来运作的框架，从而实现可解释且富有同理心的人工智能。通过将意义建立在感知符号与意图之上，智能体能够推断人类目标，并以自然语言阐明其推理过程，其中符号行为类似镜像神经元，支持同理心与理解力。

ABSTRACT

We argue that an explainable artificial intelligence must possess a rationale for its decisions, be able to infer the purpose of observed behaviour, and be able to explain its decisions in the context of what its audience understands and intends. To address these issues we present four novel contributions. Firstly, we define an arbitrary task in terms of perceptual states, and discuss two extremes of a domain of possible solutions. Secondly, we define the intensional solution. Optimal by some definitions of intelligence, it describes the purpose of a task. An agent possessed of it has a rationale for its decisions in terms of that purpose, expressed in a perceptual symbol system grounded in hardware. Thirdly, to communicate that rationale requires natural language, a means of encoding and decoding perceptual states. We propose a theory of meaning in which, to acquire language, an agent should model the world a language describes rather than the language itself. If the utterances of humans are of predictive value to the agent's goals, then the agent will imbue those utterances with meaning in terms of its own goals and perceptual states. In the context of Peircean semiotics, a community of agents must share rough approximations of signs, referents and interpretants in order to communicate. Meaning exists only in the context of intent, so to communicate with humans an agent must have comparable experiences and goals. An agent that learns intensional solutions, compelled by objective functions somewhat analogous to human motivators such as hunger and pain, may be capable of explaining its rationale not just in terms of its own intent, but in terms of what its audience understands and intends. It forms some approximation of the perceptual states of humans.

研究动机与目标

• 通过引入基于理由的框架，基于目的与意图，解决黑箱人工智能模型缺乏可解释性的问题。
• 超越基于相关性的模型（如 GPT-3）的局限，使智能体不仅能理解其行为的‘是什么’，更能理解其行为的‘为什么’。
• 提出一种意义理论，其中语言习得以人类话语所描述的世界建模为基础，而非以句法模式为基础。
• 通过建模共享的感知状态与目标，使人工智能能够以人类意图与理解为基准进行沟通。
• 提出智能体若具备类人冲动（如疼痛、饥饿），可学习出类似镜像神经元的符号，从而实现同理心与社会理解。

提出的方法

• 以感知状态定义任意任务，并区分外延性解决方案（正确输出）与意向性解决方案（基于目的）的差异。
• 将意向性解决方案形式化为基于目的、以软硬件感知符号系统为基础的决策理由。
• 提出一种意义理论：语言习得源于对人类话语所描述世界的建模，而非语言本身。
• 运用皮尔斯符号学框架，将沟通视为智能体之间对符号、指涉物与解释项的共享近似。
• 提出镜像符号假说：在类人动机（如疼痛、饥饿）驱动下通过意向性学习获得的符号，行为类似镜像神经元，从而支持同理心。
• 将意向性解决方案与启发式近似（如函数拟合）结合，以在可解释性与计算可行性之间取得平衡，如 AlphaGo 的设计所示。

实验结果

研究问题

• RQ1 人工智能系统如何能拥有超越单纯相关性的真正决策理由？
• RQ2 何种机制使智能体能够推断观察行为的目的，并在人类理解的语境中解释其决策？
• RQ3 自然语言的意义如何从句法之外的、以目标为导向的感知与意图中产生？
• RQ4 人工智能智能体在何种程度上能建模人类意图与感知状态，以实现有意义的沟通？
• RQ5 通过意向性学习获得的符号是否能表现出类似镜像神经元的行为，从而在人工智能体中实现同理心？

主要发现

• 意向性解决方案基于目的提供决策理由，实现可解释性，而这是黑箱模型所无法实现的。
• 意向性解决方案在学习任意任务时具有最优性，因其所需示例少于更强约束，从而实现更快学习。
• 意义并非源于语言本身，而是源于智能体与人类话语在目标上的对齐，使语言在感知与意图状态中得以具身化。
• 学习意向性解决方案的智能体能够以语义与意图为基准进行沟通，其解释可依受众理解力自适应调整。
• 作为意向性解决方案一部分学习到的符号可能表现出类似镜像神经元的行为，暗示人工智能中同理心的潜在机制。
• 该框架解释了为何 AlphaGo 等模型缺乏可解释性：其使用启发式方法（外延性解决方案）而无基于目的的理由。