[论文解读] Deep SimNets

Nadav Cohen, Or Sharir+1 more|arXiv (Cornell University)|Jun 9, 2015

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出了 SimNets，一种深层分层架构，通过使用相似性函数和 log-mean-exp（MEX）算子对标准卷积网络（ConvNets）进行泛化，从而提升模型表达能力。通过将内积操作替换为可学习的相似性函数，并利用 MEX 进行特征聚合，SimNets 在运行时计算资源受限条件下实现了优于标准 ConvNets 的准确率，同时在大规模设置下通过正则化手段保持了最先进性能。

ABSTRACT

We present a deep layered architecture that generalizes convolutional neural networks (ConvNets). The architecture, called SimNets, is driven by two operators: (i) a similarity function that generalizes inner-product, and (ii) a log-mean-exp function called MEX that generalizes maximum and average. The two operators applied in succession give rise to a standard neuron but in space. The feature spaces realized by SimNets depend on the choice of the similarity operator. The simplest setting, which corresponds to a convolution, realizes the feature space of the Exponential kernel, while other settings realize feature spaces of more powerful kernels (Generalized Gaussian, which includes as special cases RBF and Laplacian), or even dynamically learned feature spaces (Generalized Multiple Kernel Learning). As a result, the SimNet contains a higher abstraction level compared to a traditional ConvNet. We argue that enhanced expressiveness is important when the networks are small due to run-time constraints (such as those imposed by mobile applications). Empirical evaluation validates the superior expressiveness of SimNets, showing a significant gain in accuracy over ConvNets when computational resources at run-time are limited. We also show that in large-scale settings, where computational complexity is less of a concern, the additional capacity of SimNets can be controlled with proper regularization, yielding accuracies comparable to state of the art ConvNets.

研究动机与目标

• 解决标准 ConvNets 在运行时计算资源受限条件下的表达能力有限问题。
• 开发一种通过新型可微算子泛化卷积网络的深层架构。
• 实现基于广义核函数自适应数据的特征空间学习。
• 通过控制增强容量的正则化手段，在大规模设置下保持高准确率。
• 在资源受限和大规模学习任务中展示性能提升。

提出的方法

• 该架构使用相似性函数来泛化标准神经元中的内积运算。
• MEX（log-mean-exp）算子泛化了平均池化和最大池化，实现了可微聚合。
• 相似性与 MEX 的结合形成一种在特征空间中运行的广义神经元。
• 不同的相似性函数实现了不同的核诱导特征空间，包括 RBF、拉普拉斯核以及广义多核学习（Generalized Multiple Kernel Learning）。
• 通过端到端训练相似性算子，模型支持动态学习的特征空间。
• 在大规模设置中应用正则化以控制模型容量，防止过拟合。

实验结果

研究问题

• RQ1 能否通过基于相似性的操作泛化深层架构以提升表达能力？
• RQ2 MEX 算子如何以可微方式统一处理平均池化与最大池化？
• RQ3 在计算资源受限条件下，使用广义核基特征空间对模型准确率有何影响？
• RQ4 在应用正则化时，SimNets 是否能在大规模设置中达到最先进性能？
• RQ5 SimNets 增强的表达能力是否能在低资源推理场景中带来可测量的准确率提升？

主要发现

• 在计算资源受限时，SimNets 相较于标准 ConvNets 实现了显著的准确率提升。
• 使用广义核函数（如广义高斯核）可生成比标准卷积更丰富的特征表示。
• 在大规模设置中，适当的正则化使 SimNets 能够匹配最先进 ConvNet 的性能。
• 该架构通过相似性算子的端到端训练，支持动态学习的特征空间。
• MEX 算子为最大池化与平均池化提供了一种可微的统一替代方案。
• 基于相似性的公式泛化了内积运算，使特征空间学习超越固定核函数的限制。