[论文解读] Generalization Error of Invariant Classifiers

Jure Sokolić, Raja Giryes+2 more|arXiv (Cornell University)|Oct 14, 2016

Neural Networks and Applications参考文献 25被引用 19

一句话总结

本文建立了一个理论框架，表明设计为对特定输入变换具有不变性的分类器，其泛化误差（GE）显著低于非不变分类器。通过将输入空间分解为基空间和变换群，证明了泛化误差的规模取决于基空间的复杂度，而非整个输入空间的复杂度，且不变性可使泛化误差降低至多 √T 倍，其中 T 为变换的数量。

ABSTRACT

This paper studies the generalization error of invariant classifiers. In particular, we consider the common scenario where the classification task is invariant to certain transformations of the input, and that the classifier is constructed (or learned) to be invariant to these transformations. Our approach relies on factoring the input space into a product of a base space and a set of transformations. We show that whereas the generalization error of a non-invariant classifier is proportional to the complexity of the input space, the generalization error of an invariant classifier is proportional to the complexity of the base space. We also derive a set of sufficient conditions on the geometry of the base space and the set of transformations that ensure that the complexity of the base space is much smaller than the complexity of the input space. Our analysis applies to general classifiers such as convolutional neural networks. We demonstrate the implications of the developed theory for such classifiers with experiments on the MNIST and CIFAR-10 datasets.

研究动机与目标

• 开发一个将不变性与机器学习中泛化误差降低相联系的理论框架。
• 分析对变换的不变性如何影响分类器的复杂度与泛化性能。
• 推导出不变分类器显著低于非不变分类器的泛化误差的条件。
• 将理论与卷积神经网络（CNNs）等实际深度学习模型联系起来。
• 提供显式考虑不变性与变换几何结构的泛化误差边界。

提出的方法

• 将输入空间 X 分解为基空间 B 和变换群 G，使得 X ≈ B × G。
• 利用雅可比矩阵的谱范数定义稳定不变分类器，确保对输入扰动的敏感度有界。
• 使用覆盖数来衡量在欧氏距离下基空间 B 和整个输入空间 X 的复杂度。
• 基于基空间的覆盖数推导泛化误差边界，表明 GE 的规模取决于 N(B; d, ε)，而非 N(X; d, ε)。
• 建立 B 和 G 的充分几何条件，使得 B 的复杂度远小于 X 的复杂度。
• 将该理论应用于卷积神经网络和散射变换，在 MNIST 和 CIFAR-10 上通过实验进行验证。

实验结果

研究问题

• RQ1 对输入变换的不变性如何影响学习算法的泛化误差？
• RQ2 是否可以基于基空间的复杂度而非整个输入空间的复杂度来界定不变分类器的泛化误差？
• RQ3 基空间与变换群需满足何种几何条件，才能实现泛化误差的显著降低？
• RQ4 不变性在多大程度上可降低泛化误差？这种降低是否具有定量边界？
• RQ5 所提出的理论如何解释卷积神经网络（CNNs）及其他不变架构在降低泛化误差方面的经验成功？

主要发现

• 不变分类器的泛化误差与基空间的复杂度成正比，而非整个输入空间的复杂度。
• 对于大小为 T 的变换群，不变分类器的泛化误差可相比非不变分类器降低至多 √T 倍。
• 存在充分的几何条件，使得基空间的复杂度远小于输入空间的复杂度，从而实现泛化误差的大幅降低。
• 该理论为卷积神经网络（CNNs）和散射变换等本质上对某些变换具有不变性的模型的泛化性能提升提供了原则性解释。
• 在 MNIST 和 CIFAR-10 上的实验结果验证了不变学习可导致更低的泛化误差，与理论预测一致。
• 该框架可广泛适用于任何对已知变换群具有不变性的分类器，包括深度学习模型。