[论文解读] AHA! an 'Artificial Hippocampal Algorithm' for Episodic Machine Learning

Gideon Kowadlo, Abdelrahman Ahmed+1 more|arXiv (Cornell University)|Sep 23, 2019

Domain Adaptation and Few-Shot Learning参考文献 63被引用 8

一句话总结

AHA 是一种受生物启发的机器学习模型，模仿海马体以实现无需外部标签或全局反向传播的一次性情景学习。它使用局部学习规则来记忆、分离、补全和分类视觉情景，其分类准确率与深度学习模型相当，同时支持实例级推理，并对噪声和遮挡具有鲁棒性。

ABSTRACT

The majority of ML research concerns slow, statistical learning of i.i.d. samples from large, labelled datasets. Animals do not learn this way. An enviable characteristic of animal learning is `episodic' learning - the ability to memorise a specific experience as a composition of existing concepts, after just one experience, without provided labels. The new knowledge can then be used to distinguish between similar experiences, to generalise between classes, and to selectively consolidate to long-term memory. The Hippocampus is known to be vital to these abilities. AHA is a biologically-plausible computational model of the Hippocampus. Unlike most machine learning models, AHA is trained without external labels and uses only local credit assignment. We demonstrate AHA in a superset of the Omniglot one-shot classification benchmark. The extended benchmark covers a wider range of known hippocampal functions by testing pattern separation, completion, and recall of original input. These functions are all performed within a single configuration of the computational model. Despite these constraints, image classification results are comparable to conventional deep convolutional ANNs.

研究动机与目标

• 开发一种海马体结构的生物合理计算模型，复现关键的情景学习功能，如一次性学习、模式分离和补全。
• 仅通过局部信用分配实现无标签、快速学习，避免使用反向传播或大规模标注数据集。
• 证明统一模型可在单一架构中同时执行记忆、泛化和选择性回忆等多种海马体功能。
• 通过引入实例级分类和对图像退化（如噪声、遮挡）的鲁棒性，扩展标准的一次性学习基准，测试其在真实场景中的适用性。
• 探索此类系统如何与传统深度学习模型集成，以提升样本效率和持续学习能力。

提出的方法

• AHA 采用受海马体亚区启发的分层架构：CA3（自联想记忆）、CA1（模式分离与补全）和 DG（通过稀疏编码实现模式分离）。
• 采用局部学习规则——具体而言，在 CA3 中使用改进的霍普菲尔德网络实现关联回忆，在 DG 中使用类似赫布规则的机制实现稀疏编码——从而在无需反向传播的情况下实现信用分配。
• 模型通过基本单元（如边缘、形状）将视觉输入编码为分布式、组合式表征，支持在不同细节层次上的灵活抽象与泛化。
• 通过齿状回（DG）中的稀疏编码实现模式分离，而 CA1 则利用正交化表征执行模式补全与分离。
• 通过将重建输出映射回原始输入空间，生成基于语境的符号化表征，实现可解释性，并支持向长期记忆的整合。
• 系统在单一配置下端到端训练，无需标签，仅依赖输入结构和局部突触更新。

实验结果

研究问题

• RQ1 一种生物合理、无标签的机器学习模型能否复现海马体核心功能，如一次性学习、模式分离和补全？
• RQ2 仅靠局部学习规则是否足以支持鲁棒的情景记忆形成与检索，而无需反向传播或全局误差信号？
• RQ3 统一模型在多大程度上能同时实现一次性分类与一次性实例分类，反映动物认知的灵活性？
• RQ4 该模型在输入退化（如噪声、遮挡）条件下如何保持性能？能否从部分或受损版本中重建原始输入以实现长期整合？
• RQ5 此类系统能否与传统深度学习模型集成，以提升样本效率和持续学习能力？

主要发现

• 尽管未使用任何外部标签，AHA 在扩展的 Omniglot 基准上实现了与最先进深度学习模型相当的一次性分类准确率。
• 该模型在同一配置下成功实现了模式分离与补全，证明了海马体亚区之间功能整合的可行性。
• AHA 能够从部分或受损的输入版本中准确重建原始图像，为长期记忆整合提供了可能。
• 系统在噪声和遮挡条件下保持了鲁棒性能，表明其对输入变异具有强适应能力。
• AHA 能够区分特定实例（如带有胎记的特定长颈鹿）并实现跨类泛化，体现了情景记忆与语义记忆的双重能力。
• AHA 生成的基于语境的符号化表征可直接映射回感官输入，支持可解释性，并促进与下游模型的集成。