[论文解读] Neural Complexity Measures

Yoonho Lee, Juho Lee+3 more|arXiv (Cornell University)|Aug 7, 2020

Domain Adaptation and Few-Shot Learning参考文献 39被引用 5

一句话总结

该论文提出神经复杂度（NC），一种数据驱动的元学习框架，通过学习标量复杂度度量来预测并正则化深度神经网络中的泛化性能。通过训练神经网络，利用多种异构任务估计泛化差距，NC 提升了测试性能并加速了训练过程，优于传统正则化方法，并在不同架构和超参数间展现出强大的可迁移性。

ABSTRACT

While various complexity measures for deep neural networks exist, specifying an appropriate measure capable of predicting and explaining generalization in deep networks has proven challenging. We propose Neural Complexity (NC), a meta-learning framework for predicting generalization. Our model learns a scalar complexity measure through interactions with many heterogeneous tasks in a data-driven way. The trained NC model can be added to the standard training loss to regularize any task learner in a standard supervised learning scenario. We contrast NC's approach against existing manually-designed complexity measures and other meta-learning models, and we validate NC's performance on multiple regression and classification tasks

研究动机与目标

• 为解决深度神经网络中泛化性能预测与解释的挑战，其中人工设计的复杂度度量往往无法捕捉关键行为（如标签噪声增加时性能下降或网络规模增大时性能提升）；
• 开发一种元学习框架，通过与多样化任务的交互，学习一种与泛化性能相关的复杂度度量，实现可迁移且稳定的正则化；
• 创建一种可扩展的数据驱动复杂度度量，可作为标准监督学习中的正则项集成，提升泛化性能，且无需修改网络结构；
• 验证所学习的复杂度度量在不同网络架构、学习率和非线性激活函数之间具有泛化能力，并在大规模单任务学习场景中表现优异，而不仅限于少样本设置。

提出的方法

• NC 采用元学习设置，其中神经网络通过观察多个任务的真实损失与经验损失，学习预测泛化差距 $ G_{T,S}(h) = \mathcal{L}_T(h) - \widehat{\mathcal{L}}_{T,S}(h) $；
• 该框架采用任务拆分策略：将单个大规模数据集随机划分为训练集与验证集，以模拟多个任务，从而在多样化数据划分上进行元训练；
• NC 模型通过输入训练数据、验证数据、模型预测结果以及训练模型的参数，学习预测泛化差距，形成一种可微分的泛化代理；
• 所学习的 NC 模型随后被用作训练损失中的正则项：$ \mathcal{L}_{\text{reg}} = \widehat{\mathcal{L}}_{T,S}(h) + \lambda \cdot \text{NC}(\cdot) $，直接对任务学习器进行正则化；
• 该方法基于概率泛化界，随着 NC 模型性能的提升，该界逐渐收紧，将所学习的复杂度与泛化性能建立联系；
• 实验使用多种数据集（MNIST, FMNIST, KMNIST, SVHN, CIFAR-10）和模型（MLP, ResNet-18），未使用数据增强或学习率调度，以隔离 NC 的影响。

实验结果

研究问题

• RQ1 数据驱动的、元学习的复杂度度量是否能在预测深度网络泛化性能方面优于人工设计的复杂度度量？
• RQ2 NC 框架是否能在不同神经网络架构、超参数（如学习率）和非线性激活函数之间实现泛化？
• RQ3 NC 是否可在大规模单任务学习场景中作为有效正则项，而不仅限于少样本或元学习任务？
• RQ4 在测试准确率和训练动态方面，NC 与标准正则化技术（如 $ L_2 $、标签平滑、Mixup）相比表现如何？
• RQ5 NC 是否能有效捕捉数据集规模对过拟合的影响，并能预测在小样本数据集上泛化差距的增加？

主要发现

• NC 在多个分类任务中持续提升了测试准确率，表现与现代正则化技术（如 Mixup 和标签平滑）相当或更优；
• NC 正则化训练过程加速了收敛，如 KMNIST 可视化所示，训练损失与验证损失更快下降；
• NC 有效捕捉了小样本数据集上过拟合趋势的增加，其在 KMNIST 上对减少训练规模后泛化差距的估计准确反映了其增长趋势；
• NC 在性能上优于容量为 2 倍和 4 倍的更大模型，表明性能提升源于复杂度度量本身，而非模型容量的增加；
• NC 模型展现出强大的可迁移性，即使在元训练中未见过的架构、学习率和非线性激活函数下，也能有效正则化模型；
• 在多个实验中，NC 实现了测试损失低于训练损失，表明正则项成功缓解了过拟合，提升了泛化性能。