[论文解读] Model Complexity of Deep Learning: A Survey

Xia Hu, Lingyang Chu+3 more|arXiv (Cornell University)|Mar 8, 2021

Machine Learning and Algorithms参考文献 94被引用 6

一句话总结

本综述全面概述了深度学习中的模型复杂度，将其分类为表达能力与有效复杂度，并分析了其在模型框架、规模、优化过程及数据复杂度方面的依赖关系。文章识别出关键挑战与未来方向，包括宽度与深度的瓶颈、有效复杂度的度量方法，以及跨模型复杂度比较。

ABSTRACT

Model complexity is a fundamental problem in deep learning. In this paper we conduct a systematic overview of the latest studies on model complexity in deep learning. Model complexity of deep learning can be categorized into expressive capacity and effective model complexity. We review the existing studies on those two categories along four important factors, including model framework, model size, optimization process and data complexity. We also discuss the applications of deep learning model complexity including understanding model generalization, model optimization, and model selection and design. We conclude by proposing several interesting future directions.

研究动机与目标

• 系统性回顾深度学习模型复杂度的最新进展，回答关于表达能力与泛化能力的根本性问题。
• 识别并分析影响模型复杂度的关键因素，包括模型架构、规模、优化动力学与数据复杂度。
• 探讨模型复杂度在理解泛化能力、提升优化效率以及指导模型选择与神经架构搜索中的应用。
• 突出开放性挑战，如有效复杂度的度量方法以及深度学习中跨模型复杂度的比较问题。

提出的方法

• 将深度学习模型复杂度划分为表达能力与有效复杂度，重点关注四个关键因素：模型框架、模型规模、优化过程与数据复杂度。
• 调研表达能力的最先进研究，采用VC维、Rademacher复杂度及分段线性性质等指标。
• 通过基于范数与敏感度的度量方法分析有效复杂度，包括Fisher-Rao度量与可训练样本数量。
• 研究高容量但低实现现象，即模型因优化中的隐式偏差而即使容量巨大也能实现良好泛化。
• 提出一种基于网络设计空间中复杂度分布估计的框架，用于跨不同架构比较模型复杂度。
• 通过对比其搜索空间的复杂度分布，评估主流神经架构搜索方法（如ENAS、DARTS）的性能。

实验结果

研究问题

• RQ1 哪些关键因素——模型框架、规模、优化过程与数据复杂度——影响深度神经网络的表达能力？
• RQ2 如何度量有效模型复杂度？其能为泛化与优化提供哪些洞见？
• RQ3 在ReLU网络与多项式网络中，表达能力的瓶颈主要体现在深度与宽度的限制上，具体表现为何？
• RQ4 如何在不同架构（如全连接网络、卷积网络、循环网络）之间比较模型复杂度，以支持模型选择与设计？
• RQ5 模型复杂度在理解泛化能力、优化动力学与神经架构搜索中扮演何种角色？

主要发现

• Lu等人与Hanin和Sellke的研究表明，深度ReLU网络中的狭窄层会严重限制表达能力，即使总参数量较大。
• Serra等人发现，深度ReLU网络中第一个狭窄层会成为函数表达能力的瓶颈，限制模型表示复杂函数的能力。
• Kileel等人证明，在深度多项式网络中，单个狭窄层会阻止整个网络形成凸函数空间，从而阻碍优化过程。
• 基于范数与敏感度的有效复杂度度量方法正在兴起，但尚不成熟，且在相似模型之间缺乏精细区分能力。
• 尽管Khrulkov等人通过将架构与张量分解关联，为全连接网络、卷积网络与循环网络的复杂度比较取得进展，但跨模型复杂度比较仍受限。
• ENAS与DARTS等NAS方法的网络设计空间在复杂度分布上存在显著差异，表明其具有不同的归纳偏置。