[论文解读] Evolving Plasticity for Autonomous Learning under Changing Environmental Conditions

Anil Yaman, Giovanni Iacca+4 more|University of Twente Research Information|Apr 2, 2019

Neural Networks and Applications参考文献 45被引用 18

一句话总结

本文提出一种进化方法，用于发现可解释的、二进制编码的赫布可塑性规则，使人工神经网络能够在环境条件变化的持续在线学习过程中自主适应。通过遗传算法优化简单、基于规则的突触可塑性修改，该方法在性能上达到离线优化方法的74%（接近梯度上升方法的性能），同时为捕食-猎物任务和觅食任务中的自适应行为提供了洞见。

ABSTRACT

A fundamental aspect of learning in biological neural networks is the plasticity property which allows them to modify their configurations during their lifetime. Hebbian learning is a biologically plausible mechanism for modeling the plasticity property in artificial neural networks (ANNs), based on the local interactions of neurons. However, the emergence of a coherent global learning behavior from local Hebbian plasticity rules is not very well understood. The goal of this work is to discover interpretable local Hebbian learning rules that can provide autonomous global learning. To achieve this, we use a discrete representation to encode the learning rules in a finite search space. These rules are then used to perform synaptic changes, based on the local interactions of the neurons. We employ genetic algorithms to optimize these rules to allow learning on two separate tasks (a foraging and a prey-predator scenario) in online lifetime learning settings. The resulting evolved rules converged into a set of well-defined interpretable types, that are thoroughly discussed. Notably, the performance of these rules, while adapting the ANNs during the learning tasks, is comparable to that of offline learning methods such as hill climbing.

研究动机与目标

• 开发一种进化可解释突触可塑性规则的方法，使人工神经网络在环境条件变化时能够实现自主学习。
• 解决从局部、生物上合理的赫布可塑性规则中实现一致全局学习行为的挑战。
• 在在线、终身学习场景中，降低所进化可塑性规则的复杂度，同时保持高性能。
• 研究所进化可塑性规则如何适应不同任务动态，如确定性觅食与随机性捕食-猎物环境。
• 通过离散的二进制规则表示，提供对进化神经网络学习机制的可解释性。

提出的方法

• 以离散的二进制格式表示突触可塑性规则，编码成对神经元激活的相互作用。
• 使用遗传算法在多代中进化这些二进制规则，以优化在觅食和捕食-猎物任务中的性能。
• 将所进化规则应用于基于局部突触前与突触后神经元激活的在线、终身突触权重更新。
• 在每个任务中定义两种季节性环境变化，以测试在动态条件下的适应能力。
• 将所进化可塑性规则的性能与人工编码规则及梯度上升优化网络进行比较，以确立性能上限。
• 通过视觉分析代理行为，解释所进化规则策略的差异，如直线运动与对角线运动模式。

实验结果

研究问题

• RQ1 是否能够进化出可解释的、二进制编码的赫布可塑性规则，以实现在动态环境条件下人工神经网络的自主、终身学习？
• RQ2 在确定性（觅食）与随机性（捕食-猎物）学习任务中，所进化可塑性规则在结构与行为上存在何种差异？
• RQ3 所进化可塑性规则在连续学习环境中，能在多大程度上实现与离线优化方法（如梯度上升）相当的性能？
• RQ4 从所进化可塑性规则中涌现出哪些行为策略？它们与奖励结构和随机性等环境动态有何关联？
• RQ5 所进化规则是否能避免灾难性遗忘，同时在任务条件变化时保持高性能？

主要发现

• 所进化突触可塑性规则（ESP）在觅食和捕食-猎物任务中均实现了与人工编码梯度上升优化网络约74%的性能，表明其在在线学习中具有强大的竞争力。
• 在觅食任务中，最佳ESP规则仅在网络产生不期望输出（负向强化）时才进行突触变化，表明其采用避免覆盖已学习知识的策略。
• 在捕食-猎物任务中，最佳ESP规则表现出更高的学习速率（比觅食任务高一个数量级），这是由于需要快速适应随机性环境动态。
• 从表现最佳的ESP规则中涌现出两种截然不同的行为策略：一种类似于人工编码代理的行为（直线运动），另一种则偏好对角线运动，后者在躲避随机移动的捕食者和猎物时更具优势。
• 所进化规则在可解释性与结构上在不同任务间存在显著差异，表明进化过程根据任务需求自适应调整了规则复杂度。
• 对代理行为的视觉检查证实，即使在适应度得分相似的情况下，不同ESP规则仍导致定性不同的策略，凸显了所进化解决方案的多样性。