[论文解读] HyperNCA: Growing Developmental Networks with Neural Cellular Automata

Elias Najarro, Sudhakaran, Shyam+2 more|IT University Of Copenhagen (IT University of Copenhagen)|Apr 25, 2022

Ferroelectric and Negative Capacitance Devices参考文献 36被引用 6

一句话总结

HyperNCA 提出了一种新颖的超网络框架，利用神经元细胞自动机（NCA）通过自组织、发育式过程生成人工神经网络，该过程受生物系统启发。该方法能够生成参数量远超 NCA 本身的策略网络，在 Lunar Lander 和四足机器人行走等强化学习任务中表现出色，并展示了通过保持性能的同时在不同形态间调整权重的形态可塑性（metamorphosis）能力。

ABSTRACT

In contrast to deep reinforcement learning agents, biological neural networks are grown through a self-organized developmental process. Here we propose a new hypernetwork approach to grow artificial neural networks based on neural cellular automata (NCA). Inspired by self-organising systems and information-theoretic approaches to developmental biology, we show that our HyperNCA method can grow neural networks capable of solving common reinforcement learning tasks. Finally, we explore how the same approach can be used to build developmental metamorphosis networks capable of transforming their weights to solve variations of the initial RL task.

研究动机与目标

• 开发一种新型的强化学习间接编码方法，通过自组织过程模拟生物神经发育。
• 探究基于局部交互的计算不可约性生长过程是否能在不直接优化权重的情况下生成复杂且高参数量的策略网络。
• 研究人工智能体中发育型形态可塑性的可行性，即单一 NCA 是否可通过权重形态变化生成多种任务适配的策略网络。
• 评估该发育方法在面对形态变化或损伤时是否能提升泛化能力与鲁棒性。
• 提供一种受生物启发的神经网络生长框架，遵循‘基因组瓶颈’原则，即极少量的遗传信息可生成复杂的功能系统。

提出的方法

• HyperNCA 使用神经元细胞自动机（NCA）作为超网络，通过发育过程生成策略网络的权重。
• NCA 通过由学习得到的神经网络定义的局部更新规则随时间演化，将这些规则迭代应用于表示发育状态的潜在网格。
• 最终通过解码 NCA 的最终状态，生成全连接或卷积神经网络架构的策略网络。
• 该方法利用计算不可约性：最终网络结构仅在完整发育模拟后才显现，而非通过解析计算得出。
• 通过将同一 NCA 应用于不同的形态配置，实现形态可塑性机制，使相同的发育过程可生成不同且任务特定的策略网络。
• 通过主成分分析（PCA）可视化权重在发育步骤中的轨迹，确认策略权重在形态变化下系统性地发生形态变化。

实验结果

研究问题

• RQ1 神经元细胞自动机能否作为超网络，通过自组织的发育过程为强化学习任务生成深度且高参数量的策略网络？
• RQ2 与固定策略网络相比，由 NCA 引导的发育过程是否能在智能体形态发生变化时带来更好的泛化性能？
• RQ3 所生成策略网络的权重在不同形态之间是否以结构化、连续的方式发生形态变化，表明真正的发育适应？
• RQ4 同一 NCA 模型能否生成多个不同且高效的策略网络以适配不同形态，从而证明人工智能体中形态可塑性的潜力？
• RQ5 与标准直接编码的强化学习方法相比，NCA 生成的策略在面对形态损伤时性能如何，尤其在鲁棒性方面表现如何？

主要发现

• HyperNCA 方法成功使用仅 1,480 个可训练参数的 NCA，生成了含 1,792 个参数的策略网络，证明了间接编码的有效性。
• 在标准 MuJoCo Ant 形态（M1）上，策略网络获得了 1,329 的奖励，表明在原始任务上表现强劲。
• 在受损形态（M2，前腿和后腿各缺失一条）上评估时，通过 HyperNCA 训练的策略获得了 1,343 的奖励，优于标准基线在该挑战性条件下的表现。
• 在 M3 形态（前两条腿缺失）上，策略获得了 1,266 的奖励，显示出对结构变化的稳健适应能力。
• 跨形态评估显示，于某一形态上训练的策略在形态不匹配时表现极差（例如，在 M2 上仅获得 21 奖励，而策略是基于 M1 训练的），证实权重已真正发生形态变化。
• 通过 PCA 可视化权重轨迹，确认策略权重在发育步骤中连续且非随机地发生形态变化，支持存在一致发育路径的存在。