[论文解读] Deep Convolutional Networks are Hierarchical Kernel Machines

Fabio Anselmi, Lorenzo Rosasco+2 more|arXiv (Cornell University)|Aug 5, 2015

Neural Networks and Applications参考文献 24被引用 18

一句话总结

本文证明了深度卷积网络（DCNs）在数学上等价于分层核机器，其中每一层通过群平均的修正非线性函数计算核函数。其主要贡献在于提出了一套理论框架，表明具有ReLU激活函数和池化操作的DCNs可被精确表示为一系列分层核机器，从而为理解其泛化能力和不变性特性提供了新视角。

ABSTRACT

In i-theory a typical layer of a hierarchical architecture consists of HW modules pooling the dot products of the inputs to the layer with the transformations of a few templates under a group. Such layers include as special cases the convolutional layers of Deep Convolutional Networks (DCNs) as well as the non-convolutional layers (when the group contains only the identity). Rectifying nonlinearities -- which are used by present-day DCNs -- are one of the several nonlinearities admitted by i-theory for the HW module. We discuss here the equivalence between group averages of linear combinations of rectifying nonlinearities and an associated kernel. This property implies that present-day DCNs can be exactly equivalent to a hierarchy of kernel machines with pooling and non-pooling layers. Finally, we describe a conjecture for theoretically understanding hierarchies of such modules. A main consequence of the conjecture is that hierarchies of trained HW modules minimize memory requirements while computing a selective and invariant representation.

研究动机与目标

• 建立深度卷积网络（DCNs）与分层核机器之间的理论等价性。
• 通过将DCNs与具备不变性与选择性的核方法相联系，解释其为何在复杂性较高时仍能良好泛化。
• 利用i-理论构建一个形式化框架，描述DCNs中分层模块如何计算不变表示。
• 提出一个猜想：训练后的分层权重重用（HW）模块可在计算选择性与不变特征的同时最小化内存占用。

提出的方法

• 使用i-理论将DCN的每一层建模为一个分层模块（HW模块），该模块通过输入与变换模板之间的群平均点积计算。
• 对点积结果应用修正非线性函数（如ReLU），形成非线性特征映射。
• 证明这些修正输出的线性组合等价于一个核函数，从而实现对网络的精确核机器解释。
• 推导出某一层的输出对应于一个正定核，具体为ReLU激活后的点积之和。
• 利用径向基函数与核方法的理论，形式化DCN层与核机器之间的等价性。
• 提出一个猜想：训练后的分层HW模块可在实现选择性与不变特征表示的同时最小化内存使用。

实验结果

研究问题

• RQ1 深度卷积网络能否被精确表示为一系列核机器？
• RQ2 DCNs中的修正非线性函数与特征空间中的核函数有何关系？
• RQ3 DCNs在分层特征学习中实现不变性与选择性的数学机制是什么？
• RQ4 能否通过核理论与群平均方法，从理论上解释DCNs的性能与泛化能力？
• RQ5 权重重用与池化在最小化内存使用的同时，如何保持不变表示？

主要发现

• 具有ReLU激活函数和池化操作的DCNs在数学上等价于通过群平均修正非线性函数计算核函数的分层核机器。
• DCN层的输出可表示为ReLU激活点积的和，构成一个正定核函数。
• 某一层中修正非线性输出的线性组合等价于一个核函数，从而实现了对网络的精确核机器解释。
• 理论分析表明，此类核机器在计算选择性与不变表示时可最小化内存使用，该结论已在猜想中形式化。
• 核中心与系数的梯度更新类似于任务相关的聚类，暗示了类似k-means的高效优化方案。
• 该框架为理解DCNs为何能良好泛化提供了理论基础，将其成功归因于基于核的不变性与特征选择机制。