[论文解读] A Modern Self-Referential Weight Matrix That Learns to Modify Itself

Kazuki Irie, Imanol Schlag+2 more|arXiv (Cornell University)|Feb 11, 2022

Neural Networks and Applications被引用 15

一句话总结

本文提出了一种现代自指权重矩阵（SRWM），该矩阵在推理过程中通过外积和增量更新规则，能够自主修改自身权重，实现递归式自我改进。在少样本学习和程序生成环境下的多任务强化学习中进行评估，SRWM表现出具有竞争力的性能，证明了自修改神经网络的实际应用潜力。

ABSTRACT

The weight matrix (WM) of a neural network (NN) is its program. The programs of many traditional NNs are learned through gradient descent in some error function, then remain fixed. The WM of a self-referential NN, however, can keep rapidly modifying all of itself during runtime. In principle, such NNs can meta-learn to learn, and meta-meta-learn to meta-learn to learn, and so on, in the sense of recursive self-improvement. While NN architectures potentially capable of implementing such behaviour have been proposed since the '90s, there have been few if any practical studies. Here we revisit such NNs, building upon recent successes of fast weight programmers and closely related linear Transformers. We propose a scalable self-referential WM (SRWM) that learns to use outer products and the delta update rule to modify itself. We evaluate our SRWM in supervised few-shot learning and in multi-task reinforcement learning with procedurally generated game environments. Our experiments demonstrate both practical applicability and competitive performance of the proposed SRWM. Our code is public.

研究动机与目标

• 开发一种神经网络架构，使其能够在运行时递归地自我修改其权重矩阵，从而实现元学习和持续适应。
• 克服传统神经网络中固定权重矩阵的局限性，即训练后无法再适应。
• 在现代快速权重编程和线性Transformer机制的基础上，构建一种可扩展的自指权重矩阵（SRWM）。
• 在实际、现实世界的学习场景中评估SRWM，例如少样本学习和程序化环境下的多任务强化学习。
• 证明自修改网络可在无需人工重新训练或微调的情况下实现具有竞争力的性能。

提出的方法

• SRWM 使用一个慢速神经网络，通过可学习的权重矩阵从输入标记中生成键、值、查询和学习率（β）。
• 应用增量更新规则：Wₜ = Wₜ₋₁ + σ(βₜ)(vₜ − v̄ₜ) ⊗ φ(kₜ)，其中 v̄ₜ 是基于先前权重和当前键预测的目标更新。
• 通过值向量与键激活函数 φ(kₜ) 之间的序列外积实现权重矩阵的更新，从而实现快速、上下文相关的权重变化。
• 模型仅通过初始权重的梯度下降进行训练；所有后续的权重修改均在推理过程中由模型自身生成。
• 该架构受到快速权重编程和线性Transformer的启发，其关键创新在于权重矩阵本身的自指特性。
• SRWM 在三种设置下进行评估：少样本分类、序列多任务学习，以及使用 ProcGen 的多任务强化学习。

实验结果

研究问题

• RQ1 神经网络是否能够在推理过程中以自指方式学习修改自身权重矩阵，而无需依赖固定或外部更新的权重？
• RQ2 与标准模型相比，所提出的SRWM在少样本学习任务中是否实现了具有竞争力的性能？
• RQ3 SRWM是否能够在多任务设置中动态适应推理过程中任务分布的序列性变化？
• RQ4 SRWM是否能够在多任务强化学习设置中泛化到多样且程序化生成的环境中？
• RQ5 递归式自我修改在动态环境中在多大程度上提升了学习效率和适应能力？

主要发现

• SRWM 在标准少样本学习基准上实现了具有竞争力的性能，证明了其生成有效自我修改的能力。
• 在序列多任务学习中，SRWM 成功在推理时自适应地调整权重以应对新任务，而无需重新训练或外部干预。
• 在使用 ProcGen 环境的多任务强化学习中，SRWM 表现具有竞争力，显示出在多样化、程序化生成的游戏关卡中的鲁棒性。
• SRWM 的自我修改机制通过学习到的键、值和学习率模式，实现了快速、上下文相关的权重更新。
• 即使在推理过程中任务分布发生变化，模型性能依然稳定且泛化良好，表明其具备强大的适应能力。
• 结果证实，自指权重矩阵可通过现代深度学习技术（如快速权重编程和线性注意力）实现实际应用和可扩展性。