[论文解读] Learning to Learn Neural Networks

Tom Bosc|arXiv (Cornell University)|Oct 19, 2016

Neural Networks and Applications参考文献 2被引用 6

一句话总结

本文提出了一种元学习框架，其中长短期记忆（LSTM）网络以在线、顺序的方式学习更新神经网络的参数。通过将模型权重存储在LSTM的单元状态中，并利用反向传播最小化测试损失来训练LSTM，该方法学习到了有效且可泛化的学习算法，在非线性可分数据上优于手工设计的基线方法。

ABSTRACT

Meta-learning consists in learning learning algorithms. We use a Long Short Term Memory (LSTM) based network to learn to compute on-line updates of the parameters of another neural network. These parameters are stored in the cell state of the LSTM. Our framework allows to compare learned algorithms to hand-made algorithms within the traditional train and test methodology. In an experiment, we learn a learning algorithm for a one-hidden layer Multi-Layer Perceptron (MLP) on non-linearly separable datasets. The learned algorithm is able to update parameters of both layers and generalise well on similar datasets.

研究动机与目标

• 开发一种可微分的、端到端的框架，利用循环网络学习在线学习算法。
• 在统一的训练-测试范式下，实现学习到的与手工设计的学习算法之间的直接比较。
• 通过优化测试集性能，训练一个能在多样化数据集上泛化的元学习器。
• 探究神经网络是否能自主学习另一神经网络的有效参数更新规则。

提出的方法

• 长短期时记忆（LSTM）网络将其隐藏状态中的参数存储和更新目标神经网络的参数，将模型权重视为LSTM的内部状态。
• LSTM的学習组件使用输入、目标、预测值以及一个分隔标志（1_{t<τ}）来区分训练阶段与测试阶段，计算参数更新。
• 模型的输出 o_t 计算为 f_θ_t(x_t)，其中 θ_t 是存储在LSTM隐藏状态中的当前参数估计值。
• 元学习通过最小化跨训练数据集的测试集平均损失来优化学习器的参数 α 和初始状态 θ_1，使用一个独立的训练目标（公式4）以确保优化稳定性。
• 该框架支持通过模型和学习器的反向传播，实现元学习器的端到端训练。
• 分隔标志 1_{t<τ} 防止学习器将测试阶段的零目标误认为实际目标值。

实验结果

研究问题

• RQ1 循环神经网络是否能在在线、顺序设置下学习更新另一神经网络的参数？
• RQ2 在非线性可分数据上，学习到的学习算法与SGD或逻辑回归等手工设计算法相比，其泛化性能如何？
• RQ3 元学习器是否能专注于更新参数子集，这种聚焦是否提升了学习效率或性能？
• RQ4 该框架是否支持对与训练数据具有相似结构的未见数据集实现泛化？

主要发现

• 学习到的算法在测试集上实现了0.540的平均交叉熵损失，显著低于逻辑回归（0.574）、线性SVM（0.573）和RBF-SVM（0.507），表明其在非线性数据上具备强大的泛化能力。
• 该模型成功更新了输入到隐藏层以及隐藏到输出层的参数，证明其能力超越浅层网络。
• 权重矩阵显示，部分参数在长时间内几乎保持不变，表明元学习器选择性地仅更新了部分权重。
• 测试集损失在训练过程中逐步下降，并在所有训练样本被处理后趋于稳定，表明学习过程有效且已收敛。
• 该框架通过使用仅基于测试集的目标（公式3），使元学习器避免了对训练目标的过拟合，防止了目标值的复制。
• 该方法可泛化至复杂模型，如两层MLP（含4个隐藏单元和1个输出单元），即使在存在噪声和非线性可分数据的情况下，也能学习有效的参数更新规则。