[论文解读] HyperNetworks

David Ha, Andrew Dai+1 more|arXiv (Cornell University)|Sep 27, 2016

Machine Learning and Data Classification被引用 86

一句话总结

本文提出超网络（hypernetworks）——一种通过端到端反向传播为另一网络（主网络）生成权重的神经网络。该方法实现了LSTM中动态、非共享权重的自适应，已在字符级语言建模、手写生成和神经机器翻译任务中取得接近最先进水平的结果，且参数量少于标准模型。

ABSTRACT

This work explores hypernetworks: an approach of using a one network, also known as a hypernetwork, to generate the weights for another network. Hypernetworks provide an abstraction that is similar to what is found in nature: the relationship between a genotype - the hypernetwork - and a phenotype - the main network. Though they are also reminiscent of HyperNEAT in evolution, our hypernetworks are trained end-to-end with backpropagation and thus are usually faster. The focus of this work is to make hypernetworks useful for deep convolutional networks and long recurrent networks, where hypernetworks can be viewed as relaxed form of weight-sharing across layers. Our main result is that hypernetworks can generate non-shared weights for LSTM and achieve near state-of-the-art results on a variety of sequence modelling tasks including character-level language modelling, handwriting generation and neural machine translation, challenging the weight-sharing paradigm for recurrent networks. Our results also show that hypernetworks applied to convolutional networks still achieve respectable results for image recognition tasks compared to state-of-the-art baseline models while requiring fewer learnable parameters.

研究动机与目标

• 开发一种利用轻量级超网络生成循环网络与卷积网络非共享动态权重的方法。
• 实现超网络的端到端训练，通过反向传播提升效率，优于进化方法。
• 在序列建模任务上评估超网络，包括语言建模、手写生成与神经机器翻译。
• 证明超网络可在减少参数量的同时，性能优于或匹配最先进模型。
• 探索超网络与层归一化等归一化技术的交互作用。

提出的方法

• 训练超网络基于表示层结构的可学习嵌入向量，生成主网络的权重矩阵。
• 超网络接收输入嵌入（固定或动态生成），并生成主网络中某一层的权重，实现在循环网络中随时间动态调整权重。
• 整个系统通过反向传播进行端到端训练，使梯度能同时流经主网络与超网络。
• 对于循环网络，超网络生成随时间变化的权重调整，使主LSTM在推理过程中可自适应调整参数。
• 该方法支持静态权重生成（用于CNN）与动态权重生成（用于RNN），并支持层间共享或非共享权重。
• 该方法与批量归一化和层归一化等归一化技术兼容，但实验发现层归一化在某些设置下会干扰性能。

实验结果

研究问题

• RQ1 超网络能否为LSTM生成非共享、动态权重，从而在性能上优于标准的权重共享LSTM？
• RQ2 在语言建模与机器翻译等序列建模任务中，超网络的性能与最先进模型相比如何？
• RQ3 超网络能否在保持或提升模型准确率的同时，显著减少可学习参数数量？
• RQ4 超网络在循环模型中与层归一化等归一化技术的集成效果如何？
• RQ5 超网络能否有效建模手写生成中复杂且时变的权重调整？

主要发现

• 在WMT En→Fr数据集上，HyperLSTM的测试BLEU得分为40.03，优于标准GNMT模型（38.95），并接近8个LSTM模型集成的性能（40.35）。
• 在Character Penn Treebank数据集上，HyperLSTM的对数困惑度为1.027，与最先进模型相当。
• 在IAM手写数据集上，HyperLSTM生成样本的对数损失为-1162 nats，优于标准LSTM（-1055）与层归一化LSTM（-1096）。
• 在CIFAR-10图像分类任务中，超网络为深层CNN生成权重，以显著更少的可学习参数实现了可接受的准确率。
• 发现超网络的权重自适应呈现离散的模式转变，特别是在词与字符之间，表明调整具有非平滑性与上下文敏感性。
• 尽管层归一化在标准LSTM中表现良好，但其与HyperLSTM的结合效果不佳，性能最佳的HyperLSTM模型未使用任何归一化技术。