[论文解读] From Hard to Soft: Understanding Deep Network Nonlinearities via Vector Quantization and Statistical Inference

Randall Balestriero, Richard G. Baraniuk|arXiv (Cornell University)|Oct 22, 2018

Remote-Sensing Image Classification被引用 7

一句话总结

该论文通过将向量量化（VQ）与高斯混合模型（GMM）联系起来的概率框架，统一了包括 ReLU、sigmoid、tanh 和 swish 在内的广泛类深度网络非线性激活函数。提出了软 MASO（SMASO）和 $\beta$-VQ 推断，表明硬性 VQ 对应于分段仿射非线性（如 ReLU），而软性 VQ 则恢复了 sigmoid、tanh 和 softmax；关键的是，它证明了在线性滤波器中强制正交性可显著提升网络准确率。

ABSTRACT

Nonlinearity is crucial to the performance of a deep (neural) network (DN). To date there has been little progress understanding the menagerie of available nonlinearities, but recently progress has been made on understanding the r\\^ole played by piecewise affine and convex nonlinearities like the ReLU and absolute value activation functions and max-pooling. In particular, DN layers constructed from these operations can be interpreted as {\\em max-affine spline operators} (MASOs) that have an elegant link to vector quantization (VQ) and $K$-means. While this is good theoretical progress, the entire MASO approach is predicated on the requirement that the nonlinearities be piecewise affine and convex, which precludes important activation functions like the sigmoid, hyperbolic tangent, and softmax. {\\em This paper extends the MASO framework to these and an infinitely large class of new nonlinearities by linking deterministic MASOs with probabilistic Gaussian Mixture Models (GMMs).} We show that, under a GMM, piecewise affine, convex nonlinearities like ReLU, absolute value, and max-pooling can be interpreted as solutions to certain natural "hard" VQ inference problems, while sigmoid, hyperbolic tangent, and softmax can be interpreted as solutions to corresponding "soft" VQ inference problems. We further extend the framework by hybridizing the hard and soft VQ optimizations to create a $\\beta$-VQ inference that interpolates between hard, soft, and linear VQ inference. A prime example of a $\\beta$-VQ DN nonlinearity is the {\\em swish} nonlinearity, which offers state-of-the-art performance in a range of computer vision tasks but was developed ad hoc by experimentation. Finally, we validate with experiments an important assertion of our theory, namely that DN performance can be significantly improved by enforcing orthogonality in its linear filters.

研究动机与目标

• 提出一个统一的理论框架，解释深度网络中诸如 ReLU、sigmoid、tanh 和 swish 等多种非线性激活函数。
• 将现有仅涵盖分段仿射与凸非线性（如 ReLU）的 Max-Affine Spline Operator（MASO）框架扩展至包含非凸与光滑函数（如 sigmoid 和 softmax）。
• 建立确定性向量量化（VQ）与概率高斯混合模型（GMM）之间的原则性联系，将非线性激活解释为推理问题。
• 开发 $\beta$-VQ 推断机制，实现硬性、软性与线性 VQ 之间的连续插值，从而生成新型非线性激活并提升可解释性。
• 通过实证验证，在全连接与卷积层中强制线性滤波器正交性可显著提升多种数据集与网络架构下的深度网络性能。

提出的方法

• 提出软 MASO（SMASO）模型，将深度网络层解释为在高斯混合模型（GMM）下的概率 VQ 推断，从而推广确定性 MASO 框架。
• 推导出硬性 VQ 推断（最大化后验概率）对应于分段仿射与凸非线性（如 ReLU 和最大池化）。
• 通过 VQ 区域成员概率的最大后验估计（MAP）引入软性 VQ 推断，自然恢复 sigmoid、tanh 和 softmax 作为解。
• 提出 $\beta$-VQ 推断作为硬性与软性 VQ 之间的连续插值，证明 swish 激活函数是该框架下的特定实例。
• 在损失函数中引入正交性惩罚以鼓励线性滤波器正交，并进一步通过精确的 Gram-Schmidt 参数化实现真正正交性。
• 采用因子化 VQ 模型下的联合 MAP 推断，确保计算可 tractable（可处理），且在滤波器正交时具备理论保证。

实验结果

研究问题

• RQ1 是否存在一个统一的理论框架，能够同时解释深度网络中分段仿射非线性（如 ReLU）与光滑非线性（如 sigmoid、swish）？
• RQ2 如何利用向量量化（VQ）与高斯混合模型（GMM）来解释并泛化深度网络中的非线性激活？
• RQ3 软性与硬性 VQ 推断在推导已知与新型非线性（如 swish 和 softmax 池化）中分别起到何种作用？
• RQ4 在深度网络中强制线性滤波器正交性是否能带来可测量的性能提升？
• RQ5 $\beta$-VQ 推断如何实现硬性、软性与线性 VQ 之间的连续插值？其对激活函数设计有何影响？

主要发现

• 正式将 swish 非线性识别为 $\beta$-VQ 非线性，为其经验成功提供了原则性理论基础。
• 软性 VQ 推断自然恢复了 sigmoid、双曲正切与 softmax，将它们统一于概率推理框架之下。
• 在 SVHN、CIFAR10 和 CIFAR100 数据集上，强制全连接与卷积层中滤波器正交性显著提升了分类准确率。
• 通过 Gram-Schmidt 参数化实现完全正交滤波器的 largeCNN 模型在 CIFAR100 上达到 61.2% 的准确率，远超基线的 43.6%。
• 正交性惩罚在所有学习率与数据集上均提升了准确率，尤其在 CIFAR100 上提升最为显著（例如，46.1% vs. 43.6% 的基线）。
• 当滤波器正交时，因子化 VQ 模型下的联合 MAP 推断变得可处理，从而实现高效计算与理论保证。