[论文解读] Deep, Skinny Neural Networks are not Universal Approximators

Jesse Johnson|arXiv (Cornell University)|Sep 30, 2018

Neural Networks and Applications被引用 6

一句话总结

本文证明，深度且宽度较窄的神经网络——即所有隐藏层的宽度均不超过输入维度——无法近似那些在输入空间中具有有界水平集的函数。通过拓扑论证，文章表明，无论网络深度如何，此类网络仅能表示具有无界水平集的函数，从而限制了其对圆形决策边界等紧凑结构数据的建模能力。

ABSTRACT

In order to choose a neural network architecture that will be effective for a particular modeling problem, one must understand the limitations imposed by each of the potential options. These limitations are typically described in terms of information theoretic bounds, or by comparing the relative complexity needed to approximate example functions between different architectures. In this paper, we examine the topological constraints that the architecture of a neural network imposes on the level sets of all the functions that it is able to approximate. This approach is novel for both the nature of the limitations and the fact that they are independent of network depth for a broad family of activation functions.

研究动机与目标

• 识别深度且宽度较窄的神经网络架构对可近似的函数施加的根本性拓扑限制。
• 理解此类网络为何在处理需要有界决策边界的结构化数据（如圆形或紧支撑聚类）时表现不佳。
• 证明深度本身无法克服宽度限制，以近似某些类型的函数，从而挑战关于深度网络具备通用近似能力的传统假设。
• 提出一种新颖的拓扑框架，用于分析神经网络的表达能力，且独立于传统的复杂度或范数界约束。

提出的方法

• 分析深度、全连接、前馈神经网络在输入空间中近似函数的水平集的拓扑结构，其隐藏层宽度受限制。
• 应用集合论拓扑方法，证明此类网络近似的函数必须具有无界水平分量。
• 基于可被单射函数一致逼近的连续激活函数，使用极限论证建立拓扑不变性。
• 采用反证法：假设存在有界水平集，将导致一条无法被包含于紧邻域内的路径，从而违反近似性质。
• 通过在包含中心类与环形外层的2D合成数据集上使用TensorFlow神经网络演示平台进行实验，验证理论发现。
• 比较深度窄网络（无界曲线）与浅层宽网络（有界环形）的决策边界，以实证方式展示拓扑限制。

实验结果

研究问题

• RQ1 深度且宽度较窄的神经网络（隐藏层宽度≤输入维度）能否在紧致域上近似任意连续函数？
• RQ2 此类架构对可表示函数的水平集施加了何种拓扑约束？
• RQ3 该限制源于深度还是宽度？仅增加深度是否足以克服宽度限制？
• RQ4 与神经网络近似理论中现有的基于复杂度的界相比，这些拓扑约束有何异同？
• RQ5 这些约束在多大程度上可解释深度网络在具有特定结构属性的数据上的经验成功？

主要发现

• 隐藏层宽度≤输入维度的深度且宽度较窄的神经网络，无法近似在输入空间中具有有界水平集的函数。
• 主要结果与网络深度无关，即即使网络极其深，只要隐藏层狭窄，仍受拓扑限制。
• 此类网络近似的任何函数都必须具有无界水平集，即水平分量延伸至无穷远。
• 实验结果表明，深度窄网络（如六个2D层）产生无界决策边界，而单个3D隐藏层可生成有界环形边界。
• 理论约束解释了为何深度窄网络难以学习理想的有界决策边界（如中心聚类周围的环形边界）。
• 该结果强于先前工作，因其适用于紧致子集上的$L^∞$范数，且基于拓扑不变性，而非范数界或渐近复杂度界。