[论文解读] Information-Theoretic Local Minima Characterization and Regularization

Zhiwei Jia, Hao Su|arXiv (Cornell University)|Nov 19, 2019

Advanced Neural Network Applications参考文献 54被引用 4

一句话总结

本文提出了一种基于Fisher信息行列式的信息论度量，用于表征和正则化深度神经网络中的局部极小值。通过推导出一种可计算的近似方法和一种实用的正则化器，该方法在CIFAR-10、CIFAR-100和ImageNet上均实现了稳定的泛化性能提升，同时基于PAC-Bayes理论提供了泛化误差的理论边界。

ABSTRACT

Recent advances in deep learning theory have evoked the study of generalizability across different local minima of deep neural networks (DNNs). While current work focused on either discovering properties of good local minima or developing regularization techniques to induce good local minima, no approach exists that can tackle both problems. We achieve these two goals successfully in a unified manner. Specifically, based on the observed Fisher information we propose a metric both strongly indicative of generalizability of local minima and effectively applied as a practical regularizer. We provide theoretical analysis including a generalization bound and empirically demonstrate the success of our approach in both capturing and improving the generalizability of DNNs. Experiments are performed on CIFAR-10, CIFAR-100 and ImageNet for various network architectures.

研究动机与目标

• 统一表征和正则化深度神经网络中可泛化的局部极小值。
• 解决现有研究中将泛化能力表征与正则化视为独立问题的不足。
• 开发一种基于Fisher信息的度量，兼具理论严谨性与实际有效性。
• 从该度量中推导出一种实用正则化器，可在不牺牲训练效率的前提下提升泛化性能。
• 在多种架构和数据集上展示一致的泛化性能增益。

提出的方法

• 本文提出一种基于从训练数据中估计的Fisher信息行列式的度量，该度量与泛化性能具有强相关性。
• 提供了PAC-Bayesian泛化边界，以理论证明该度量的有效性。
• 提出了一种高效且可计算的度量近似方法，便于在不同局部极小值间进行实际比较。
• 从该度量中推导出一种新型正则化器，并通过算法1中的改进更新规则集成到优化过程中。
• 选择性地在训练后期应用该正则化器，以避免早期优化阶段的数值不稳定性。
• 在ResNet、Wide-ResNet和DenseNet上使用带有动量的SGD对方法进行了评估，涵盖CIFAR-10、CIFAR-100和ImageNet数据集。

实验结果

研究问题

• RQ1 深度神经网络中局部极小值的哪些特性与更好的泛化性能相关？
• RQ2 能否设计一种单一的信息论度量，同时实现对可泛化极小值的表征与优化引导？
• RQ3 如何高效地近似Fisher信息行列式，以适用于现代深度学习训练？
• RQ4 基于该度量推导出的正则化器是否能在多种架构和数据集上持续提升泛化性能？
• RQ5 所提出的方法是否在测试准确率和鲁棒性方面优于现有的正则化与优化技术？

主要发现

• 所提出的基于Fisher信息行列式的度量与不同局部极小值的泛化性能具有强相关性。
• 在CIFAR-10和CIFAR-100上，该方法在ResNet-20、Wide-ResNet-28-2和DenseNet-k12上均实现了稳定的泛化性能提升，多次运行中均观察到测试误差降低。
• 在ImageNet上，该方法在所有评估的架构中均提升了泛化性能，结果以3次运行的均值±标准差形式报告。
• 正则化器仅使每个小批量的训练时间增加1.5倍，表现出良好的计算效率。
• 消融实验表明，正则化器在训练中后期最为有效，且仅在学习率下降后应用可显著提升训练速度。
• 表3确认，使用正则化器训练的模型获得了更低的度量值（更高的平坦度），与更好的泛化性能一致。