[论文解读] Duality of Width and Depth of Neural Networks.
本文建立了ReLU神经网络宽度与深度之间的准等价关系，表明任意前馈ReLU网络均可被转换为具有任意小误差的等价宽网络或深网络。该转换揭示了宽度与深度之间的对偶性，其等价性类似于分类任务中的数据驱动版德摩根定律。
While classic studies proved that wide networks allow universal approximation, recent research and successes of deep learning demonstrate the power of the network depth. Based on a symmetric consideration, we investigate if the design of artificial neural networks should have a directional preference, and what the mechanism of interaction is between the width and depth of a network. We address this fundamental question by establishing a quasi-equivalence between the width and depth of ReLU networks. Specifically, we formulate a transformation from an arbitrary ReLU network to a wide network and a deep network for either regression or classification so that an essentially same capability of the original network can be implemented. That is, a deep regression/classification ReLU network has a wide equivalent, and vice versa, subject to an arbitrarily small error. Interestingly, the quasi-equivalence between wide and deep classification ReLU networks is a data-driven version of the De Morgan law.
研究动机与目标
- 探究人工神经网络在架构设计中是否天然偏好深度或宽度。
- 探索ReLU网络中网络宽度与深度之间的基本作用机制。
- 建立一种理论转换，可在保持网络能力的前提下实现宽网络与深网络之间的转换。
- 证明在任意逼近误差下，宽网络与深网络的ReLU网络具有准等价性。
- 揭示分类网络背景下德摩根定律的数据驱动类比。
提出的方法
- 提出一种转换方法，将任意ReLU网络映射为具有相同功能能力的等价宽网络。
- 开发一种对偶转换方法，将同一网络映射为等价深网络，同时保持回归或分类性能。
- 采用对称构造原则，确保宽度与深度变体在误差受任意小ε限制下输出一致。
- 将该转换应用于回归与分类任务，保持网络的表达能力。
- 利用ReLU激活函数与分段线性函数表示的结构，实现宽度与深度的对偶性。
- 将等价性形式化为准等价，承认由于可容忍小误差，精确等价并非必需。
实验结果
研究问题
- RQ1能否将深层ReLU网络转换为具有等价功能能力的宽网络？
- RQ2能否将宽ReLU网络转换为具有等价性能的深层网络？
- RQ3ReLU网络中宽度与深度对偶性的数学机制是什么？
- RQ4该准等价性与分类设置中逻辑对偶性（如德摩根定律）有何关联？
- RQ5原始网络与转换后网络之间的逼近误差在多大程度上可被控制？
主要发现
- 任意ReLU网络均可被转换为一个宽网络，其对原始函数的逼近误差可任意小ε。
- 同一网络亦可被转换为一个深网络，其功能能力保持不变，误差受ε限制。
- 该准等价性在回归与分类任务中均成立。
- 网络架构中的对偶性在分类背景下形式上类比于德摩根定律，暗示一种逻辑对称性。
- 该转换具有构造性与对称性，可在保持表达能力的前提下实现宽度与深度之间的双向转换。
- 结果表明，深度与宽度并非固有偏好，而是在所提转换下可互换的。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。