[论文解读] Modularizing and Assembling Cognitive Map Learners via Hyperdimensional Computing

Nathan McDonald|arXiv (Cornell University)|Apr 10, 2023

Ferroelectric and Negative Capacitance Devices被引用 6

一句话总结

本文提出了一种模块化框架，将超维计算（HDC）与认知地图学习器（CMLs）相结合，实现在双向图中的无目标导航。通过将节点状态表示为高维向量，该方法将图遍历（CML）与目标选择（HDC）解耦，允许独立训练，并通过叠加实现多个刺激-响应模型的动态组合，且无需为新应用特定符号重新训练。

ABSTRACT

Biological organisms must learn how to control their own bodies to achieve deliberate locomotion, that is, predict their next body position based on their current position and selected action. Such learning is goal-agnostic with respect to maximizing (minimizing) an environmental reward (penalty) signal. A cognitive map learner (CML) is a collection of three separate yet collaboratively trained artificial neural networks which learn to construct representations for the node states and edge actions of an arbitrary bidirectional graph. In so doing, a CML learns how to traverse the graph nodes; however, the CML does not learn when and why to move from one node state to another. This work created CMLs with node states expressed as high dimensional vectors suitable for hyperdimensional computing (HDC), a form of symbolic machine learning (ML). In so doing, graph knowledge (CML) was segregated from target node selection (HDC), allowing each ML approach to be trained independently. The first approach used HDC to engineer an arbitrary number of hierarchical CMLs, where each graph node state specified target node states for the next lower level CMLs to traverse to. Second, an HDC-based stimulus-response experience model was demonstrated per CML. Because hypervectors may be in superposition with each other, multiple experience models were added together and run in parallel without any retraining. Lastly, a CML-HDC ML unit was modularized: trained with proxy symbols such that arbitrary, application-specific stimulus symbols could be operated upon without retraining either CML or HDC model. These methods provide a template for engineering heterogenous ML systems.

研究动机与目标

• 开发一种模块化架构，将图遍历（CML）与目标选择（HDC）分离，以提升系统组合能力。
• 实现分层的、多级的CML，其中每个节点状态指定低层级CML的目标状态。
• 通过向量叠加，演示多个基于HDC的刺激-响应模型的并行执行，且无需重新训练。
• 构建一个在代理符号上训练的可重用CML-HDC单元，使能通过HDV映射在不重新训练的情况下部署任意应用特定符号。
• 为工程化异构机器学习系统提供一种模板，支持组合式、类符号推理。

提出的方法

• 将节点状态表示为高维超向量（HDVs），以支持超维计算（HDC）操作。
• 通过三个协同训练的神经网络训练CML，以学习双向图中节点状态和边动作。
• 使用HDC对每个CML节点的目标节点状态进行编码，实现跨多级的分层遍历。
• 通过将刺激和响应编码为HDVs，在HDC中构建刺激-响应模型，支持多个模型的叠加。
• 通过向量加法组合多个HDC经验模型，实现在不重新训练的情况下并行执行。
• 设计一个在代理符号上训练的模块化CML-HDC单元，通过HDV映射实现与新应用特定符号的即插即用操作。

实验结果

研究问题

• RQ1 认知地图学习器能否与超维计算模块化组合，以实现在图中的分层导航？
• RQ2 多个基于HDC的刺激-响应模型能否通过叠加组合，且无需重新训练？
• RQ3 CML-HDC单元能否在代理符号上进行训练，之后在不重新训练的情况下用于任意应用特定符号？
• RQ4 如何将图知识（CML）与目标选择（HDC）解耦，以提升系统模块化与可重用性？
• RQ5 在符号化、基于向量的学习框架中，多级、多模型HDC-CML系统的性能与可扩展性如何？

主要发现

• CML-HDC框架成功将图遍历与目标选择解耦，支持独立训练与模块化组合。
• 多个基于HDC的刺激-响应模型通过叠加组合，并行执行，且未出现任何重新训练或干扰。
• 通过代理符号训练与HDV映射，模块化CML-HDC单元在新应用特定符号上表现出可重用性。
• 构建了分层CML，其中高层级CML中每个节点状态指定了低层级CML的目标状态，实现了多级导航。
• 系统通过向量叠加支持行为的动态重构，实现在可微分神经框架中的灵活、类符号推理。
• 该方法为工程化异构机器学习系统提供了一个可扩展模板，具备组合式、无目标的导航能力。