[论文解读] Interpretable Reinforcement Learning Inspired by Piaget's Theory of Cognitive Development

Aref Hakimzadeh, Yanbo Xue+1 more|arXiv (Cornell University)|Feb 1, 2021

Reinforcement Learning in Robotics参考文献 33被引用 5

一句话总结

本文提出了一种受皮亚杰认知发展理论启发的神经符号强化学习框架，采用自抽象化模式树实现可解释、人类可理解的决策，且无需深度神经网络。该方法在经典控制环境（如 Pendulum：平均奖励 -112）中实现了具有竞争力的性能，同时通过受思维语言启发的架构支持可塑性、系统性及推理一致性。

ABSTRACT

Endeavors for designing robots with human-level cognitive abilities have led to different categories of learning machines. According to Skinner's theory, reinforcement learning (RL) plays a key role in human intuition and cognition. Majority of the state-of-the-art methods including deep RL algorithms are strongly influenced by the connectionist viewpoint. Such algorithms can significantly benefit from theories of mind and learning in other disciplines. This paper entertains the idea that theories such as language of thought hypothesis (LOTH), script theory, and Piaget's cognitive development theory provide complementary approaches, which will enrich the RL field. Following this line of thinking, a general computational building block is proposed for Piaget's schema theory that supports the notions of productivity, systematicity, and inferential coherence as described by Fodor in contrast with the connectionism theory. Abstraction in the proposed method is completely upon the system itself and is not externally constrained by any predefined architecture. The whole process matches the Neisser's perceptual cycle model. Performed experiments on three typical control problems followed by behavioral analysis confirm the interpretability of the proposed method and its competitiveness compared to the state-of-the-art algorithms. Hence, the proposed framework can be viewed as a step towards achieving human-like cognition in artificial intelligent systems.

研究动机与目标

• 通过将皮亚杰的认知发展理论整合到强化学习架构中，弥合深度强化学习与认知科学之间的差距。
• 通过引入支持可塑性、系统性及推理一致性的系统，解决深度强化学习的黑箱问题——这些是人类认知的核心特性。
• 开发一种自抽象化、分层模式驱动的架构，实现在不依赖预定义神经网络结构的前提下实现可解释性。
• 证明可解释的、非神经网络的强化学习智能体可在标准控制基准上实现具有竞争力的性能。

提出的方法

• 该框架基于皮亚杰的模式理论建模认知发展，其中模式以树状结构、自抽象化的节点表示，并通过同化与顺应过程演化。
• 每个模式是一组具有核心意义的连贯、可重复的动作序列，抽象深度由系统动态决定，而非预设架构。
• 基于加权感官输入（W）的相似性度量实现状态匹配；权重通过奖励引导规则更新：$ W^{new} = W^{old} \pm \beta(U - V) $，其中 $ \beta = 0.04 $。
• $ \epsilon $-贪婪策略（90% 利用，10% 探索）确保探索的同时保持学习稳定性。
• 系统实现尼塞尔的感知循环模型，将自下而上的感知与自上而下的模式驱动动作选择在连续循环中整合。
• 该架构支持分层抽象，不同选项（模式）可具有不同的深度与权重，实现灵活且可解释的推理。

实验结果

研究问题

• RQ1 基于皮亚杰模式理论的强化学习智能体是否能在不使用深度神经网络的情况下，在标准控制任务中实现具有竞争力的性能？
• RQ2 核心认知特性——可塑性、系统性及推理一致性——如何在强化学习框架中形式化编码？
• RQ3 自抽象化模式系统在多大程度上可支持可解释性，同时保持学习效率与泛化能力？
• RQ4 通过尼塞尔感知循环模型实现自上而下与自下而上的学习整合，是否能提升智能体自主性并减少对超参数调优的人工干预？

主要发现

• 在 Pendulum 环境中，基于分层模式的智能体在 100 次实验中达到最佳奖励 -112，平均奖励 -251，优于基线方法。
• 系统对权重初始化表现出鲁棒性：不同的感官输入权重向量（如 $ W_1 = [2.2\ 2.4\ 0.7] $，$ W_2 = [1.2\ 1.7\ 1.8] $）均产生相同的平均性能 -168，表明行为稳定且可解释。
• 通过奖励反馈实现的自适应权重学习（$ W^{new} = W^{old} \pm \beta(U - V) $）将性能提升至平均 -241，最佳为 -164，表明注意力机制在可解释强化学习中的价值。
• 该框架在 CartPole 和 Acrobot 中也取得了具有竞争力的结果，证实其在无深度学习依赖下的环境泛化能力。
• 行为分析表明，系统支持关键认知特性：可塑性（无限模式生成）、系统性（结构化推理）及推理一致性（从模式中进行逻辑推理）。
• AO2 变体中的所有决策路径均能根据环境状态被人类理解，证实了可解释性的核心主张。