[论文解读] Associative Memory in Iterated Overparameterized Sigmoid Autoencoders

Yibo Jiang, Cengiz Pehlevan|arXiv (Cornell University)|Jun 30, 2020

Model Reduction and Neural Networks被引用 4

一句话总结

本文利用神经正切核（NTK）框架，研究了过参数化Sigmoid自编码器中的关联记忆。结果表明，在无限宽度极限下，当输入-输出雅可比矩阵的最大特征值范数低于1时，迭代训练会收敛到稳定不动点（吸引子）——这一条件可通过增大输入范数实现，从而在单个和多个训练样本下均实现鲁棒的关联记忆。

ABSTRACT

Recent work showed that overparameterized autoencoders can be trained to implement associative memory via iterative maps, when the trained input-output Jacobian of the network has all of its eigenvalue norms strictly below one. Here, we theoretically analyze this phenomenon for sigmoid networks by leveraging recent developments in deep learning theory, especially the correspondence between training neural networks in the infinite-width limit and performing kernel regression with the Neural Tangent Kernel (NTK). We find that overparameterized sigmoid autoencoders can have attractors in the NTK limit for both training with a single example and multiple examples under certain conditions. In particular, for multiple training examples, we find that the norm of the largest Jacobian eigenvalue drops below one with increasing input norm, leading to associative memory.

研究动机与目标

• 理解过参数化Sigmoid自编码器如何通过迭代动力学实现关联记忆。
• 分析在无限宽度极限下，稳定不动点（吸引子）出现的条件。
• 研究输入-输出雅可比矩阵特征值谱在决定记忆稳定性中的作用。
• 确定关联记忆功能是否在单个和多个训练样本下均成立。
• 利用神经正切核（NTK）框架，为收敛性和稳定性提供理论保证。

提出的方法

• 利用神经正切核（NTK）框架，分析过参数化Sigmoid自编码器在无限宽度极限下的行为。
• 在NTK框架下推导自编码器的输入-输出雅可比矩阵，以研究其谱性质。
• 分析雅可比矩阵最大特征值范数随输入范数的变化，以确定收敛条件。
• 应用迭代映射动力学来建模网络在推理过程中的行为，将其视为不动点迭代。
• 同时考虑单样本和多样本训练场景，以评估关联记忆行为的泛化能力。
• 建立理论条件，证明雅可比矩阵的谱范数可低于1，从而确保收敛至稳定吸引子。

实验结果

研究问题

• RQ1 在何种条件下，过参数化Sigmoid自编码器的输入-输出雅可比矩阵的所有特征值范数严格小于1？
• RQ2 在NTK极限下，关联记忆是否能在单个和多个训练样本下均出现？
• RQ3 增大输入范数如何影响雅可比矩阵的谱范数以及不动点的稳定性？
• RQ4 NTK在实现过参数化网络中迭代收敛至吸引子的过程中起到何种作用？
• RQ5 是否存在关于过参数化Sigmoid自编码器中稳定关联记忆的理论保证？

主要发现

• 在NTK极限下，当输入-输出雅可比矩阵的最大特征值范数严格小于1时，过参数化Sigmoid自编码器可实现稳定不动点（吸引子）。
• 对于多个训练样本，随着输入范数增大，雅可比矩阵最大特征值范数会下降至1以下，从而实现关联记忆功能。
• 理论分析证实，在推导出的谱条件下，NTK框架下的迭代映射会收敛至稳定吸引子。
• 在相同的谱约束下，关联记忆不仅支持单样本训练，也适用于多样本场景。
• NTK框架为理解过参数化自编码器作为关联记忆系统的动力学提供了严格的理论基础。
• 结果表明，过参数化结合Sigmoid激活函数可通过迭代优化实现鲁棒且稳定的记忆检索。