[论文解读] Improved Generalization Bound of Permutation Invariant Deep Neural Networks

Akiyoshi Sannai, Masaaki Imaizumi|arXiv (Cornell University)|Sep 25, 2019

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文建立了带ReLU激活函数的置换不变深度神经网络的理论泛化界，表明由于置换不变性，其泛化差距因√(n!)而改善。作者开发了基本区域对应关系和尺度敏感的度量熵等新技巧，证明了尽管存在结构约束，不变网络仍能达到最优逼近率。

ABSTRACT

We theoretically prove that a permutation invariant property of deep neural networks largely improves its generalization performance. Learning problems with data that are invariant to permutations are frequently observed in various applications, for example, point cloud data and graph neural networks. Numerous methodologies have been developed and they achieve great performances, however, understanding a mechanism of the performance is still a developing problem. In this paper, we derive a theoretical generalization bound for invariant deep neural networks with a ReLU activation to clarify their mechanism. Consequently, our bound shows that the main term of their generalization gap is improved by $\sqrt{n!}$ where $n$ is a number of permuting coordinates of data. Moreover, we prove that an approximation power of invariant deep neural networks can achieve an optimal rate, though the networks are restricted to be invariant. To achieve the results, we develop several new proof techniques such as correspondence with a fundamental domain and a scale-sensitive metric entropy.

研究动机与目标

• 为了从理论上理解为何置换不变深度神经网络在点云和图学习等任务中泛化性能良好。
• 为具有ReLU激活函数的不变深度神经网络推导泛化界。
• 研究尽管存在结构约束，置换不变性是否会影响逼近能力。
• 开发适用于置换不变函数空间几何特性的新型证明技巧。

提出的方法

• 建立置换不变函数与其在基本区域上表示之间的对应关系，以简化分析。
• 引入尺度敏感的度量熵，以衡量不变函数类的复杂度。
• 利用Rademacher复杂度和覆盖数论证，推导出依赖于√(n!)的泛化界。
• 证明在给定约束下，不变网络的逼近误差可达到最优速率。
• 应用对称化和置换群论分析不变函数空间的结构。
• 利用ReLU激活函数的特性，在保持表达能力的同时强制实现置换不变性。

实验结果

研究问题

• RQ1 置换不变性如何影响深度神经网络的泛化性能？
• RQ2 尽管存在结构约束，置换不变网络能否保持最优逼近速率？
• RQ3 泛化差距对置换坐标数n的精确依赖关系是什么？
• RQ4 度量熵如何适配以分析置换不变函数类？
• RQ5 分析对称深度学习模型泛化性能时，需要哪些新型证明技巧？

主要发现

• 置换不变深度神经网络的泛化差距因√(n!)而改善，其中n为置换坐标的数量。
• 推导出的泛化界明确表明，置换不变性降低了假设空间的复杂度。
• 不变网络的逼近能力达到了最优速率，表明不变性并未导致表示能力的损失。
• 使用基本区域实现了函数空间的几何约简，简化了复杂度分析。
• 尺度敏感的度量熵被成功应用于量化置换不变函数类的复杂度。
• 开发并验证了新型证明技巧，包括群论对应关系和基于熵的界。