[论文解读] Shapeshifter Networks: Cross-layer Parameter Sharing for Scalable and Effective Deep Learning

Bryan A. Plummer, Nikoli Dryden+3 more|arXiv (Cornell University)|Jun 18, 2020

Multimodal Machine Learning Applications参考文献 47被引用 8

一句话总结

Shapeshifter Networks (SSNs) 引入了一种跨层参数共享框架，能够动态学习异构层之间的最优参数分组——实现显著的模型压缩并提升泛化能力。通过将共享权重映射到不同大小、操作和模态的层上，SSNs 仅使用标准模型参数的 1% 即可实现最先进性能。

ABSTRACT

We present Shapeshifter Networks (SSNs), a flexible neural network framework that improves performance and reduces memory requirements on a diverse set of scenarios over standard neural networks. Our approach is based on the observation that many neural networks are severely overparameterized, resulting in significant waste in computational resources as well as being susceptible to overfitting. SSNs address this by learning where and how to share parameters between layers in a neural network while avoiding degenerate solutions that result in underfitting. Specifically, we automatically construct parameter groups that identify where parameter sharing is most beneficial. Then, we map each group's weights to construct layers with learned combinations of candidates from a shared parameter pool. SSNs can share parameters across layers even when they have different sizes, perform different operations, and/or operate on features from different modalities. We evaluate our approach on a diverse set of tasks, including image classification, bidirectional image-sentence retrieval, and phrase grounding, creating high performing models even when using as little as 1% of the parameters. We also apply SSNs to knowledge distillation, where we obtain state-of-the-art results when combined with traditional distillation methods.

研究动机与目标

• 解决深度神经网络的过度参数化问题，以减少计算浪费和过拟合。
• 开发一种方法，实现在架构、大小和模态各不相同的层之间有效共享参数。
• 自动学习有益的参数分组，避免导致欠拟合的退化解。
• 在显著减小模型大小的同时，保持或提升在多样化任务上的性能。
• 通过整合参数共享提升知识蒸馏效果，从而提高学生模型的效率和准确性。

提出的方法

• SSNs 学习动态参数组，以识别在不同层之间共享参数的最优位置。
• 构建一个共享参数池，从中根据学习到的分组将权重映射到各个层。
• 该框架支持在具有不同大小、操作和输入模态（如视觉和语言特征）的层之间进行参数共享。
• 使用可微机制学习共享权重到特定层参数的映射，支持端到端训练。
• 通过正则化和架构约束避免退化解，以保持模型的表征能力。
• 将 SSNs 集成到知识蒸馏流程中，结合参数共享与知识迁移，以提升学生模型的性能。

实验结果

研究问题

• RQ1 能否在具有不同大小和操作的异构层之间有效学习参数共享？
• RQ2 如何在不牺牲性能的前提下，将参数共享应用于不同模态（如视觉和语言）？
• RQ3 动态参数共享是否能将模型大小减少高达 99%，同时保持或提升准确率？
• RQ4 所提出的方法是否能防止在过度参数化设置下导致欠拟合的退化解？
• RQ5 SSNs 是否能增强知识蒸馏，实现在压缩模型训练中的最先进结果？

主要发现

• SSNs 仅使用标准模型参数的 1%，即在图像分类、双向图像-句子检索和短语定位任务上达到最先进性能。
• 该框架实现了在不同大小、操作和模态（包括视觉和语言特征）的层之间有效共享参数。
• SSNs 将模型大小最多减少 99%，同时保持与标准模型相当或更优的准确率。
• 与知识蒸馏结合后，SSNs 实现了最先进结果，证明了其在效率和性能上的提升。
• 通过学习到的参数分组，该方法成功避免了退化解，同时保持了模型容量和泛化能力。