[论文解读] Regularization for Deep Learning: A Taxonomy

Jan Kukačka, Vladimir Golkov+1 more|arXiv (Cornell University)|Oct 29, 2017

Domain Adaptation and Few-Shot Learning参考文献 36被引用 186

一句话总结

本文提出一个深度学习正则化方法的统一分类法，将方法按数据、架构、误差项、正则化项和优化划分，并给出实际指导。

ABSTRACT

Regularization is one of the crucial ingredients of deep learning, yet the term regularization has various definitions, and regularization methods are often studied separately from each other. In our work we present a systematic, unifying taxonomy to categorize existing methods. We distinguish methods that affect data, network architectures, error terms, regularization terms, and optimization procedures. We do not provide all details about the listed methods; instead, we present an overview of how the methods can be sorted into meaningful categories and sub-categories. This helps revealing links and fundamental similarities between them. Finally, we include practical recommendations both for users and for developers of new regularization methods.

研究动机与目标

• 提供一个系统性、统一的框架，用于对深度学习中的正则化方法进行分类。
• 阐明在数据、架构、损失与优化组件之间，不同正则化技术之间的关系。
• 为研究人员和开发者在设计正则化策略时提供实用建议。
• 突出看似截然不同的正则化方法之间的联系和共同原则。

提出的方法

• 将正则化方法组织为五个主要轴：数据、网络架构、误差项、正则化项和优化过程。
• 定义一个带有子分类的工作分类法，以揭示方法之间的联系和基本相似性。
• 将基于数据的变换、数据增强和目标保持增强作为一种关键的正则化机制。
• 提出一个按依赖关系（例如对权重、输入、输出的依赖）和阶段（训练/测试）对正则化项进行分类的框架。
• 提供高级描述和分类，而非详尽的实现细节。

实验结果

研究问题

• RQ1 如何将深度学习中的正则化技术系统地归类为有意义的群组？
• RQ2 在传统上被分开处理的（数据、架构、损失、优化）方法之间有哪些联系和共性？
• RQ3 可以向从业者和开发者提供哪些在选择和设计正则化方法时的实用指南？
• RQ4 如何在正则化框架中整合未标签数据和半监督方法？

主要发现

• 提出一个统一的分类法，将正则化方法按数据、架构、误差项、正则化项和优化过程分组。
• 表明许多技术（例如数据增强、dropout、批量归一化）可以在一个共同的数据型正则化框架下被看待。
• 证明正则化可以通过与目标无关的正则化项来利用未标记数据，从而实现半监督方法。
• 为用户和开发者在选择和组合正则化技术方面提供实际建议。
• 揭示看似迥异的方法之间的结构联系，阐明在何时、为何某些技术有助于正则化泛化。