[论文解读] How Many Samples are Needed to Estimate a Convolutional or Recurrent Neural Network?

Simon S. Du, Yining Wang+4 more|arXiv (Cornell University)|May 21, 2018

Neural Networks and Applications参考文献 65被引用 9

一句话总结

该论文首次对卷积神经网络（CNNs）和循环神经网络（RNNs）的样本复杂度进行了严格的统计分析，表明其样本复杂度与其固有维度呈线性关系——远低于全连接网络。通过局部经验过程理论和新颖的结构引理，作者建立了紧致的上下界，证实CNNs和RNNs中的权重重用显著提升了样本效率。

ABSTRACT

It is widely believed that the practical success of Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs) owes to the fact that CNNs and RNNs use a more compact parametric representation than their Fully-Connected Neural Network (FNN) counterparts, and consequently require fewer training examples to accurately estimate their parameters. We initiate the study of rigorously characterizing the sample-complexity of estimating CNNs and RNNs. We show that the sample-complexity to learn CNNs and RNNs scales linearly with their intrinsic dimension and this sample-complexity is much smaller than for their FNN counterparts. For both CNNs and RNNs, we also present lower bounds showing our sample complexities are tight up to logarithmic factors. Our main technical tools for deriving these results are a localized empirical process analysis and a new technical lemma characterizing the convolutional and recurrent structure. We believe that these tools may inspire further developments in understanding CNNs and RNNs.

研究动机与目标

• 严格刻画卷积神经网络（CNNs）和循环神经网络（RNNs）的样本复杂度，挑战一种普遍存在的成见：即其成功源于紧凑的表征。
• 正式证明由于结构归纳偏置的存在，CNNs和RNNs相较于全连接网络（FNNs）需要显著更少的样本。
• 开发新的理论工具——局部经验过程分析和结构特异性引理，用于分析CNNs和RNNs的统计行为。
• 建立估计误差的紧致上下界，表明所推导的样本复杂度率在对数因子范围内是最优的。
• 弥合卷积神经网络和循环神经网络在经验成功与理论理解之间的鸿沟，解释为何它们在较少数据下仍能更好地泛化。

提出的方法

• 将局部经验过程理论（van de Geer, 2000）适配用于在最小二乘估计下分析CNNs和RNNs的估计误差。
• 提出针对卷积滤波器的新结构引理（引理9–10）和针对循环转移矩阵的新引理（引理11），以利用权重重用结构。
• 推导估计误差的上界：单滤波器CNN为$\widetilde{O}(\sqrt{m/n})$，单隐层CNN为$\widetilde{O}(\sqrt{(m+r)/n})$，RNN为$\widetilde{O}(\sqrt{dr/n})$。
• 通过广义Fano不等式和基于常权码的二元假设检验框架，建立极小化最大下界。
• 使用覆盖论证和范数界来控制度量熵，并推导样本复杂度率。
• 在参数空间的有限覆盖上应用并集界，其大小由度量熵和精度$\epsilon'$控制。

实验结果

研究问题

• RQ1 在估计单个卷积滤波器时，CNN的样本复杂度与全连接网络（FNN）相比如何？
• RQ2 在共享滤波器和输出权重的单隐层CNN中，估计的样本复杂度是多少？
• RQ3 在建模序列数据时，RNN的样本复杂度与全连接网络（FNN）相比如何？
• RQ4 CNNs和RNNs中权重重用的统计优势能否被正式量化并证明其紧致性？
• RQ5 为严格分析结构化神经网络的泛化与估计行为，需要哪些新的理论工具？

主要发现

• 对于大小为$m$的单个卷积滤波器，CNN的估计误差为$\widetilde{O}(\sqrt{m/n})$，仅需$\widetilde{O}(m/\epsilon^2)$个样本即可实现$\epsilon$-误差。
• 相比之下，对应的FNN需要$\Omega(d/\epsilon^2)$个样本，其中$d$为输入维度，这证实当$m \ll d$时CNN更具样本效率。
• 对于滤波器大小为$m$且有$r$个输出权重的单隐层CNN，误差率为$\widetilde{O}(\sqrt{(m+r)/n})$，且该界在对数因子范围内是紧致的。
• 对于输入维度为$d$、隐藏状态维度为$r$的RNN，误差率为$\widetilde{O}(\sqrt{dr/n})$，而其FNN对应版本有$Ld$个特征，其中在典型设置下$r \ll L \ll d$。
• 极小化最大下界与上界在对数因子范围内一致，证明了所推导样本复杂度率的最优性。
• 针对CNNs和RNNs的结构引理在捕捉权重重用的归纳偏置方面起着关键作用，使紧致泛化界成为可能。