[论文解读] Diversity Networks

Zelda Mariet, Suvrit Sra|arXiv (Cornell University)|Nov 16, 2015

Stochastic Gradient Optimization Techniques被引用 10

一句话总结

Divnet 是一种新颖的框架，利用行列式点过程（DPPs）对神经网络层中的神经元多样性进行建模，通过选择多样化的神经元并融合冗余神经元来减小模型规模，同时保持性能。该方法可实现自动架构调优，在不损失准确率的情况下优于现有剪枝方法，有效降低网络复杂度。

ABSTRACT

Abstract: We introduce Divnet, a flexible technique for learning networks with diverse neurons. Divnet models neuronal diversity by placing a Determinantal Point Process (DPP) over neurons in a given layer. It uses this DPP to select a subset of diverse neurons and subsequently fuses the redundant neurons into the selected ones. Compared with previous approaches, Divnet offers a more principled, flexible technique for capturing neuronal diversity and thus implicitly enforcing regularization. This enables effective auto-tuning of network architecture and leads to smaller network sizes without hurting performance. Moreover, through its focus on diversity and neuron fusing, Divnet remains compatible with other procedures that seek to reduce memory footprints of networks. We present experimental results to corroborate our claims: for pruning neural networks, Divnet is seen to be notably superior to competing approaches.

研究动机与目标

• 解决深度神经网络中冗余且缺乏多样性的神经元带来的模型效率问题。
• 开发一种系统化且灵活的方法，在训练过程中捕捉神经元多样性。
• 通过基于多样性的正则化实现网络架构的自动调优。
• 在不牺牲性能的前提下减小模型大小和内存占用。
• 确保与现有模型压缩技术（如剪枝）的兼容性。

提出的方法

• Divnet 在给定层的神经元上使用行列式点过程（DPP）对神经元多样性进行建模。
• DPP 根据神经元的表征多样性与相互排斥性，选择一组多样化的神经元。
• 随后通过参数平均或变换将冗余神经元融合到所选的多样化神经元中。
• 该方法可自然地集成到标准训练与剪枝流程中，支持端到端优化。
• 基于 DPP 的选择机制隐式地对网络进行正则化，提升泛化能力并减少过拟合。
• 该框架通过根据多样性标准动态调整神经元构成，支持自动架构搜索。

实验结果

研究问题

• RQ1 如何在深度神经网络中有效建模并优化神经元多样性？
• RQ2 与现有剪枝方法相比，基于 DPP 的神经元选择是否能实现更优的模型压缩与性能表现？
• RQ3 基于多样性的正则化在多大程度上能提升泛化能力并减小模型规模？
• RQ4 基于多样性的神经元融合方法与现有模型压缩技术的兼容性如何？
• RQ5 该方法能否实现自动化的、数据驱动的网络架构自动调优？

主要发现

• 与现有方法相比，Divnet 在剪枝性能上表现更优，生成的网络更小且无准确率下降。
• 基于 DPP 的神经元选择机制能有效捕捉并强制隐藏层中神经元的多样性。
• 通过 DPP 选择实现的神经元融合可减少冗余，从而形成更紧凑、高效的网络架构。
• 该方法通过基于多样性的隐式正则化，实现了有效的网络架构自动调优。
• Divnet 与其他内存压缩技术（如权重量化和知识蒸馏）保持兼容。
• 实验结果表明，该方法在显著减小模型规模的同时，仍能保持或提升模型准确率。