[论文解读] Is deeper better? It depends on locality of relevant features

T. Mori, Masahito Ueda|arXiv (Cornell University)|May 26, 2020

Neural Networks and Applications参考文献 5被引用 4

一句话总结

本文通过使用具有局部标签和全局标签的抽象分类任务，研究了网络深度对过参数化神经网络泛化能力的影响。研究发现，由于混沌信号传播带来的固有特征局部性，深层网络在局部标签上泛化表现更好；而浅层网络在全局标签上表现更优，表明深度的优势关键取决于特征局部性，而非仅表达能力。

ABSTRACT

It has been recognized that a heavily overparameterized artificial neural network exhibits surprisingly good generalization performance in various machine-learning tasks. Recent theoretical studies have made attempts to unveil the mystery of the overparameterization. In most of those previous works, the overparameterization is achieved by increasing the width of the network, while the effect of increasing the depth has remained less well understood. In this work, we investigate the effect of increasing the depth within an overparameterized regime. To gain an insight into the advantage of depth, we introduce local and global labels as abstract but simple classification rules. It turns out that the locality of the relevant feature for a given classification rule plays a key role; our experimental results suggest that deeper is better for local labels, whereas shallower is better for global labels. We also compare the results of finite networks with those of the neural tangent kernel (NTK), which is equivalent to an infinitely wide network with a proper initialization and an infinitesimal learning rate. It is shown that the NTK does not correctly capture the depth dependence of the generalization performance, which indicates the importance of the feature learning rather than the lazy learning.

研究动机与目标

• 理解为何在过参数化设置下，更深的神经网络有时比浅层网络泛化得更好。
• 探究在过参数化神经网络中，深度是否在宽度之外具有普遍优势。
• 考察特征局部性（局部标签与全局标签）在决定泛化最优网络深度中的作用。
• 比较有限宽度网络与神经正切核（NTK）极限，评估懒惰学习是否能捕捉深度相关的泛化特性。
• 探索深层网络中混沌信号传播如何导致更局部化的学习特征，即使在学习随机标签时也是如此。

提出的方法

• 作者通过随机输入定义抽象分类任务，并使用两类标签：k-local（由少数输入分量决定）和k-global（由所有分量之和决定）。
• 他们在包含N=10^4个样本的数据集上，训练了深度从L=1到L=7、宽度固定为H=500的全连接前馈网络，使用SGD优化，学习率η=0.1，批量大小B=50。
• 通过测试误差评估泛化性能，通过s(v)（在强度为v的局部扰动下保持不变的测试样本比例）衡量局部稳定性。
• 本研究将有限宽度网络与神经正切核（NTK）极限进行比较，后者对应于无限宽度和无穷小学习率，代表懒惰学习设置。
• 通过沿单个输入维度扰动输入并测量标签不变性来分析局部稳定性，s(v)量化了对这类扰动的鲁棒性。
• 补充实验在伊辛模型上验证了结果，表明浅层网络在全局热力学特征学习上优于深层网络。

实验结果

研究问题

• RQ1 在过参数化神经网络中，增加深度是否能改善泛化性能？若能，其条件是什么？
• RQ2 相关特征的局部性（局部与全局）如何影响泛化的最优网络深度？
• RQ3 神经正切核（NTK）极限在多大程度上能准确预测有限宽度网络中的深度依赖泛化性能？
• RQ4 为何深层网络在表达能力相似的情况下，有时仍比浅层网络泛化得更好？
• RQ5 深层网络中的混沌信号传播是否会导致更局部化的学习特征，即使在训练随机标签时也是如此？

主要发现

• 对于k-local标签，深层网络的泛化误差显著低于浅层网络，表明当相关特征具有局部性时，深度具有明显优势。
• 对于k-global标签，浅层网络的泛化表现优于深层网络，表明深度并非普遍有益，甚至可能对全局特征学习产生负面影响。
• 神经正切核（NTK）极限无法捕捉泛化性能的深度依赖性，表明在有限宽度网络中，特征学习（超越懒惰学习）对泛化至关重要。
• 即使在训练随机标签时，深层网络学习到的特征也比浅层网络更局部化，这由在扰动下s(v)更低得到证实。
• 深层网络的局部稳定性s(v)远低于浅层网络，且浅层网络的s(v)与k-global标签高度一致，表明浅层网络学习到更具全局性的表征。
• 在伊辛模型的实际测试中，浅层网络在分类全局热力学特征方面优于深层网络，验证了在物理相关场景下的研究发现。