[论文解读] How a minimal learning agent can infer the existence of unobserved variables in a complex environment

Katja Ried, Benjamin Eva+2 more|arXiv (Cornell University)|Oct 15, 2019

Cognitive Science and Mapping被引用 4

一句话总结

本文提出了一种基于投影模拟（Projective Simulation）的极简强化学习智能体，通过与环境的动态交互，自主推断复杂环境中的未观测变量，并形成抽象的概念表征。该智能体的内部思辨结构使其能够对这些变量进行操作性识别，显著提升了对新经验的泛化能力，从而展示了人工智能中抽象概念形成的透明、可解释且高效机制。

ABSTRACT

According to a mainstream position in contemporary cognitive science and philosophy, the use of abstract compositional concepts is both a necessary and a sufficient condition for the presence of genuine thought. In this article, we show how the ability to develop and utilise abstract conceptual structures can be achieved by a particular kind of learning agents. More specifically, we provide and motivate a concrete operational definition of what it means for these agents to be in possession of abstract concepts, before presenting an explicit example of a minimal architecture that supports this capability. We then proceed to demonstrate how the existence of abstract conceptual structures can be operationally useful in the process of employing previously acquired knowledge in the face of new experiences, thereby vindicating the natural conjecture that the cognitive functions of abstraction and generalisation are closely related. Keywords: concept formation, projective simulation, reinforcement learning, transparent artificial intelligence, theory formation, explainable artificial intelligence (XAI)

研究动机与目标

• 展示极简学习智能体如何仅通过与环境的交互，自主推断复杂环境中未观测变量的存在。
• 为智能体内部思辨过程中抽象概念结构的识别提供操作语义。
• 表明此类抽象变量的形成可增强智能体将已有知识泛化至新经验的能力。
• 通过可识别的概念表征，使外部观察者能够分析和理解智能体的推理过程，从而推进透明且可解释的人工智能。
• 为人工智能体中自主概念形成与相关性检测奠定基础，推动可解释人工智能（XAI）及子符号系统中的符号推理。

提出的方法

• 智能体在由设置（s ∈ S）、实验（e ∈ E）和实验结果预测（p ∈ P）构成的结构化环境中运行。
• 智能体采用改进的投影模拟（PS）架构，包含标签空间和通过加权记忆链接演化的内部思辨过程。
• 提出一种新协议，在智能体的记忆中引入中间‘片段’（clips），以表征潜在的抽象变量，从而实现对不同设置和实验中一致模式的检测。
• 智能体通过检测在不同设置中其动作选择概率的稳定且重复出现的模式来识别变量，采用基于概率分布相似性的统计标准。
• 通过聚类具有相似动作概率分布的标签来实现变量识别的操作化，使外部观察者能够重建智能体的概念表征。
• 扩展学习动态机制，支持标签的动态合并与拆分，使抽象粒度能根据环境复杂度自适应调整。

实验结果

研究问题

• RQ1 仅通过交互，极简强化学习智能体能否推断复杂环境中未观测变量的存在？
• RQ2 智能体形成的抽象概念结构如何被外部观察者操作性地定义与识别？
• RQ3 可识别的抽象变量在多大程度上提升了智能体对新型、未见过的设置的泛化能力？
• RQ4 能否使智能体的内部概念表征实现透明化与可解释化，从而在子符号学习系统中实现可解释人工智能（XAI）？
• RQ5 如何动态调整智能体架构，以支持基于环境反馈的抽象层次演化？

主要发现

• 智能体通过检测在不同设置中动作概率分布的一致性模式，成功识别出具有隐藏未观测特征环境中的抽象变量。
• 基于聚类具有相似动作选择行为的标签来操作化定义抽象变量，使外部观察者能够高保真度地重建智能体的概念表征。
• 能够形成并利用可识别抽象变量的智能体，在面对此前未经历的新设置时，表现出显著提升的泛化性能。
• 在模拟中实证验证了可识别抽象变量的存在与泛化能力提升之间的相关性，证实了抽象在学习中的实用与认识论价值。
• 所提方法实现了透明、可解释且可交流的人工智能形式，使其与传统黑箱强化学习智能体相区别。
• 该框架支持未来扩展，以实现变量间相关性的检测，并动态调整智能体内部架构以优化抽象粒度。