[论文解读] Compression based bound for non-compressed network: unified generalization error analysis of large compressible deep neural network

Taiji Suzuki, Hiroshi Abe+1 more|arXiv (Cornell University)|Sep 25, 2019

Sparse and Compressive Sensing Techniques参考文献 63被引用 11

一句话总结

本文提出一个统一框架，用于推导非压缩、原始深度神经网络的基于压缩的泛化误差界——此前该方法仅适用于压缩模型。通过利用数据相关的局部Rademacher复杂度并改进偏差项，该方法得出了更紧致、与数据相关的界，更好地解释了过参数化网络中的泛化现象，尤其在使用基于协方差的压缩时，相比基于权重的低秩近似，实现了二次改进。

ABSTRACT

One of the biggest issues in deep learning theory is the generalization ability of networks with huge model size. The classical learning theory suggests that overparameterized models cause overfitting. However, practically used large deep models avoid overfitting, which is not well explained by the classical approaches. To resolve this issue, several attempts have been made. Among them, the compression based bound is one of the promising approaches. However, the compression based bound can be applied only to a compressed network, and it is not applicable to the non-compressed original network. In this paper, we give a unified frame-work that can convert compression based bounds to those for non-compressed original networks. The bound gives even better rate than the one for the compressed network by improving the bias term. By establishing the unified frame-work, we can obtain a data dependent generalization error bound which gives a tighter evaluation than the data independent ones.

研究动机与目标

• 解决经典泛化理论在过参数化深度网络中失效的问题。
• 将基于压缩的泛化误差界从压缩网络扩展到原始的非压缩网络。
• 开发一种比现有数据无关或基于范数的界更紧致的数据相关界。
• 通过隐式正则化和可压缩性，解释为何大深度网络即使参数量高也能泛化良好。
• 通过将原始网络的压缩特性与泛化性能相联系，统一理论分析。

提出的方法

• 提出一个统一的理论框架，将基于压缩的界从压缩网络转移到其原始的非压缩对应物。
• 使用局部Rademacher复杂度控制原始网络与压缩网络之间的总体 $L_2$-距离，避免使用松散的VC型界。
• 通过激活的协方差矩阵实现数据相关的容量控制，相比权重矩阵更能有效捕捉数据特定的冗余性。
• 推导出一个泛化误差界，通过基于协方差的压缩实现偏差项的二次缩放，从而获得更紧致的界。
• 利用隐式偏差假设，即SGD诱导出低秩结构，以证明训练后网络的可压缩性。
• 同时使用权重矩阵和激活协方差矩阵分析内在维度，表明后者显著降低有效维度。

实验结果

研究问题

• RQ1 基于压缩的泛化误差界能否有意义地应用于原始的非压缩深度神经网络？
• RQ2 如何在不依赖经典VC型界的情况下，对原始网络与压缩网络之间的总体 $L_2$-距离进行紧致界定？
• RQ3 数据相关的压缩——尤其是通过激活协方差矩阵——在改进泛化误差界中起到什么作用？
• RQ4 为何大深度网络尽管参数量高仍能良好泛化？这能否通过可压缩性和隐式偏差来解释？
• RQ5 基于协方差的压缩与基于权重的低秩近似相比，在有效维度和界紧致性方面有何差异？

主要发现

• 所提出的原始网络的界比压缩网络的界更紧，这是由于偏差项控制得到改善。
• 基于协方差的压缩在内在维度上实现二次改进，优于基于权重矩阵低秩近似的线性改进。
• 内在维度显著小于实际参数数量，尤其在深层（如 c8 到 l18），表明早期层存在信息提炼。
• 在所有层中，使用协方差矩阵的内在维度始终低于使用权重矩阵的维度，尤其在较高阈值下（如 $\nu = 10^{-3}$）。
• 该方法的泛化误差界比经典VC维界和基于范数的界更紧，尤其在深层网络中表现更优。
• 分析表明，结合权重矩阵和激活协方差矩阵的低秩近似可获得更锐利的界，且可通过所提出的统一框架实现。