[论文解读] Improved Generalization Bounds of Group Invariant / Equivariant Deep Networks via Quotient Feature Spaces

Akiyoshi Sannai, Masaaki Imaizumi+1 more|arXiv (Cornell University)|Oct 15, 2019

3D Shape Modeling and Analysis参考文献 35被引用 4

一句话总结

本文引入商特征空间（QFS）以推导群不变与等变深度神经网络的改进泛化界。通过量化群作用对特征空间的影响，作者表明QFS的体积决定了泛化误差，从而在Sₙ不变网络（如DeepSets）中使界的主要项获得√(n!)的改进，同时保持最优逼近率。

ABSTRACT

Numerous invariant (or equivariant) neural networks have succeeded in handling invariant data such as point clouds and graphs. However, a generalization theory for the neural networks has not been well developed, because several essential factors for the theory, such as network size and margin distribution, are not deeply connected to the invariance and equivariance. In this study, we develop a novel generalization error bound for invariant and equivariant deep neural networks. To describe the effect of invariance and equivariance on generalization, we develop a notion of a extit{quotient feature space}, which measures the effect of group actions for the properties. Our main result proves that the volume of quotient feature spaces can describe the generalization error. Furthermore, the bound shows that the invariance and equivariance significantly improve the leading term of the bound. We apply our result to specific invariant and equivariant networks, such as DeepSets (Zaheer et al. (2017)), and show that their generalization bound is considerably improved by $\sqrt{n!}$, where $n!$ is the number of permutations. We also discuss the expressive power of invariant DNNs and show that they can achieve an optimal approximation rate. Our experimental result supports our theoretical claims.

研究动机与目标

• 为解决缺乏将不变性与宽度、边缘等标准泛化因素相联系的群不变/等变深度网络泛化理论的问题。
• 开发一种可应用于泛化误差界的不变性与等变性的定量度量方法。
• 表明不变性显著改善泛化误差界，尤其在对称群作用（如置换）下表现突出。
• 分析不变深度神经网络的表达能力，并确认其可实现最优逼近率。

提出的方法

• 引入商特征空间（QFS）的概念，定义为Δ_G = φ_G([0,1]^n)，其中φ_G将ℝⁿ映射到群作用G下的商空间ℝⁿ/G。
• 将泛化误差界定义为QFS体积的平方根，即ℒ(ℱᴳ) ∝ √vol(Δ_G)，适用于不变网络。
• 对于等变网络，使用稳定子子群St(G)，并基于vol(Δ_St(G))进行界估计。
• 将该框架应用于对称群Sₙ，推导出泛化界为O(√(1/(n! m²/n))) + √(2 log(1/2ε)/m)。
• 利用Hölder空间分析表达能力，证明Sₙ不变网络可达到ε⁻ᴰ⁄ᵅ的最优逼近率（对数因子内）。
• 建立理论界，且无需对输入空间分解或算法稳定性施加限制性假设。

实验结果

研究问题

• RQ1 如何以一种影响泛化误差界的方式，对不变性与等变性进行定量测量？
• RQ2 能否利用群作用下特征空间的几何性质来界定不变/等变网络的泛化误差？
• RQ3 在对称群作用（如置换）下，不变性对泛化误差的定量影响是什么？
• RQ4 尽管存在不变性约束，不变深度神经网络是否仍保持最优逼近能力？

主要发现

• Sₙ不变网络的泛化误差在界的主要项中获得√(n!)的改进，显著降低了大n时的误差。
• Sₙ不变网络的界呈O(√(1/(n! m²/n)))的量级，表明即使收敛随m变慢，n的增加仍带来显著改进。
• Sₙ不变深度神经网络的表达能力可达到ε⁻ᴰ⁄ᵅ的最优逼近率（对数因子内），与无不变性时的最佳可能速率一致。
• 所提出的QFS框架提供了不依赖算法稳定性假设的泛化界，优于先前工作。
• 该理论适用于DeepSets等真实世界模型，由于置换不变性，其界获得√(n!)的改进。
• 证明了商特征空间的体积是决定不变与等变网络中泛化误差的关键几何量。