[论文解读] Understanding Locally Competitive Networks

Rupesh K. Srivastava, Jonathan Masci+2 more|arXiv (Cornell University)|Oct 5, 2014

Advanced Neural Network Applications参考文献 17被引用 14

一句话总结

本文提出，局部竞争神经网络——使用ReLU、maxout或LWTA激活函数——可作为子网络的集合，针对不同输入动态激活，从而实现高效、模块化的学习并有效检索特征。关键贡献在于表明，子网络激活模式（子掩码）可作为紧凑的二值描述符，用于高效相似性搜索，在检索任务中优于连续激活向量，且无需额外训练。

ABSTRACT

Recently proposed neural network activation functions such as rectified linear, maxout, and local winner-take-all have allowed for faster and more effective training of deep neural architectures on large and complex datasets. The common trait among these functions is that they implement local competition between small groups of computational units within a layer, so that only part of the network is activated for any given input pattern. In this paper, we attempt to visualize and understand this self-modularization, and suggest a unified explanation for the beneficial properties of such networks. We also show how our insights can be directly useful for efficiently performing retrieval over large datasets using neural networks.

研究动机与目标

• 理解为何ReLU、maxout和LWTA等局部竞争激活函数能提升深度网络的训练速度与性能。
• 解释此类网络中通过动态子网络激活实现自模块化的内在机制。
• 证明子网络激活模式（子掩码）可作为无需额外训练的高效、有效的二值描述符用于检索。
• 在统一的模型-模型框架下整合不同局部竞争激活函数的行为。
• 展示基于子掩码的检索在MNIST、CIFAR和ImageNet上表现具有竞争力，甚至在某些情况下优于专用哈希方法。

提出的方法

• 作者分析ReLU、maxout和LWTA单元在不同输入下非零激活形成的子网络，将每个子网络视为独立的线性模型。
• 引入‘子掩码’概念——表示给定输入下某一层中哪些单元被激活的二值向量，用作紧凑的数据描述符。
• 该方法在标准分类网络上使用随机梯度下降进行训练，采用局部竞争激活函数，不修改损失函数或训练过程。
• 通过汉明距离计算子掩码相似性，实现在大规模数据集中的快速检索。
• 在MNIST、CIFAR-10、CIFAR-100和ImageNet上使用精确率-召回率和平均精度均值（mAP）指标评估该方法。
• 作者证明，从训练好的网络中直接提取子掩码即可用于检索，无需额外监督或训练。

实验结果

研究问题

• RQ1 ReLU、maxout和LWTA等局部竞争激活函数如何在深度网络中实现更有效的训练和更好的泛化？
• RQ2 这些网络在学习过程中如何通过改进信用分配和减少干扰来实现性能提升？
• RQ3 在训练好的网络中，活跃单元（子网络）的模式能否作为检索任务中有意义且紧凑的表示？
• RQ4 基于子掩码的检索与使用连续激活向量的传统方法或专用哈希算法相比有何差异？
• RQ5 子掩码在多大程度上反映了底层数据流形，并在不同复杂度的数据集上具有泛化能力？

主要发现

• ReLU、maxout和LWTA单元激活的子网络表现出模块化结构，相似输入模式会激活相似的单元子集，支持模型-模型假设。
• 推理过程中形成的子网络具有高度多样性，在10个单元的ReLU层中，100个测试样本激活了超过100种不同的子网络，表明其具有丰富的表征能力。
• 基于子掩码的检索在MNIST、CIFAR-10、CIFAR-100和ImageNet上表现具有竞争力，mAP值接近或达到专用哈希算法的水平。
• 该方法无需额外训练或监督——二值描述符可直接从标准分类网络的子网络激活模式中提取。
• 随着网络准确率的提高，基于子掩码与基于激活向量的检索性能差距逐渐缩小，表明子掩码在更优模型下将愈发有效。
• 与连续激活向量相比，子掩码在存储和检索方面效率高得多，为大规模应用提供了实际优势。