[论文解读] Deep Networks from the Principle of Rate Reduction

Kwan Ho Ryan Chan, Yaodong Yu+4 more|arXiv (Cornell University)|Oct 27, 2020

Face and Expression Recognition参考文献 52被引用 9

一句话总结

本文从率缩减原理推导出深度卷积神经网络，表明对这一目标进行迭代梯度上升可自然产生具有显式优化、统计与几何解释的分层结构。由此得到的'ReduNet'无需反向传播即可学习判别性、平移不变的表征，并可通过多通道卷积在频域中更高效地构建。

ABSTRACT

This work attempts to interpret modern deep (convolutional) networks from the principles of rate reduction and (shift) invariant classification. We show that the basic iterative gradient ascent scheme for optimizing the rate reduction of learned features naturally leads to a multi-layer deep network, one iteration per layer. The layered architectures, linear and nonlinear operators, and even parameters of the network are all explicitly constructed layer-by-layer in a forward propagation fashion by emulating the gradient scheme. All components of this "white box" network have precise optimization, statistical, and geometric interpretation. This principled framework also reveals and justifies the role of multi-channel lifting and sparse coding in early stage of deep networks. Moreover, all linear operators of the so-derived network naturally become multi-channel convolutions when we enforce classification to be rigorously shift-invariant. The derivation also indicates that such a convolutional network is significantly more efficient to construct and learn in the spectral domain. Our preliminary simulations and experiments indicate that so constructed deep network can already learn a good discriminative representation even without any back propagation training.

研究动机与目标

• 提供现代深度卷积网络的原理性、基于第一性原理的推导。
• 通过优化理论解释多通道特征学习、非线性激活函数与权重共享在浅层中的作用。
• 建立一个分层构建网络架构、算子与参数的框架，使其具有清晰的几何与统计意义。
• 证明深度网络可在无需反向传播训练的情况下实现良好的分类性能。
• 表明平移不变表征自然导出多通道卷积网络，尤其在频域中效率更高。

提出的方法

• 本文将率缩减目标表述为对判别性特征表征的编码率缩减最大化。
• 对率缩减目标应用迭代梯度上升方案，自然生成每轮迭代对应一层的多层网络结构。
• 每一层的线性与非线性算子均从梯度更新规则显式推导，确保其具有优化与几何可解释性。
• 通过强制实现平移不变性，推导出的线性算子变为多通道卷积，自然形成卷积架构。
• 该方法使网络在频域（傅里叶域）中实现更高效的构建与学习，类似于视觉皮层中的神经编码机制。
• 该框架构建了一个“白盒”网络，其中所有组件——权重、激活与架构——均有精确的理论基础。

实验结果

研究问题

• RQ1 能否从第一性原理而非经验设计推导出深度卷积神经网络架构？
• RQ2 深度网络中多层特征学习的优化理论基础是什么？
• RQ3 为何多通道卷积与非线性激活函数在浅层中自然出现？
• RQ4 如何在原理性网络构建中严格实现平移不变性？
• RQ5 能否在无需反向传播的情况下，使深度网络学习到有效的表征？

主要发现

• 对率缩减目标进行迭代梯度上升可生成每轮迭代对应一层的深度网络架构，且每一层的组件均显式构建，具有明确的优化与几何意义。
• 所推导的网络（命名为ReduNet）在1D函数与MNIST数据集上均实现了良好的分类性能，且无需任何反向传播训练。
• 当强制实现平移不变性时，网络中的线性算子变为多通道卷积，自然形成卷积架构。
• 该网络在频域中学习与构建的效率显著更高，提示其可能代表一种生物上合理的神经信息处理机制。
• 余弦相似性分析表明，不同类别间的表征呈正交关系，表明其具有强大的判别能力。
• 该框架将浅层中多通道提升与稀疏编码的作用解释为率缩减原理的自然结果。