[论文解读] Greedy Shallow Networks: A New Approach for Constructing and Training Neural Networks

Anton Dereventsov, Armenak Petrosyan+1 more|arXiv (Cornell University)|May 1, 2019

Sparse and Compressive Sensing Techniques参考文献 40被引用 4

一句话总结

该论文提出一种基于ReLU激活函数和ridgelet积分表示的贪心浅层网络方法，用于构建无需反向传播的高效单隐层网络。通过ridgelet变换减少字典规模，该方法实现了快速、可行的贪心神经元选择，所得到的网络架构可作为有效初始化或完全训练的模型，数值结果表明其优于传统方法。

ABSTRACT

We present a greedy-based approach to construct an efficient single hidden layer neural network with the ReLU activation that approximates a target function. In our approach we obtain a shallow network by utilizing a greedy algorithm with the prescribed dictionary provided by the available training data and a set of possible inner weights. To facilitate the greedy selection process we employ an integral representation of the network, based on the ridgelet transform, that significantly reduces the cardinality of the dictionary and hence promotes feasibility of the greedy selection. Our approach allows for the construction of efficient architectures which can be treated either as improved initializations to be used in place of random-based alternatives, or as fully-trained networks in certain cases, thus potentially nullifying the need for backpropagation training. Numerical experiments demonstrate the tenability of the proposed concept and its advantages compared to the conventional techniques for selecting architectures and initializations for neural networks.

研究动机与目标

• 开发一种无需反向传播的高效单隐层神经网络构建方法。
• 通过缩小候选神经元字典规模，降低神经网络架构选择的计算复杂度。
• 利用ridgelet变换的积分表示，实现更可行的贪心优化。
• 构建可直接用作有效初始化或完全训练模型的网络架构，无需迭代训练。
• 与随机或启发式初始化技术相比，展示出更优的性能表现。

提出的方法

• 利用贪心算法从基于训练数据和预定义内部权重生成的字典中选择神经元。
• 采用基于ridgelet变换的网络积分表示，以减小字典的有效规模。
• 应用ridgelet变换将网络的函数空间映射为稀疏表示，提升选择效率。
• 基于残差误差最小化，通过积分公式指导迭代选择神经元。
• 构建可直接用作模型或用于深层网络的改进初始化的浅层网络。
• 通过在缩小且可解析处理的空间中进行贪心选择，避免反向传播。

实验结果

研究问题

• RQ1 在缩小的神经元字典上进行贪心选择，是否能实现无需反向传播的有效浅层神经网络？
• RQ2 基于ridgelet的积分表示在多大程度上降低了基于字典的网络构建的计算负担？
• RQ3 所得到的网络能否作为深度学习中随机或启发式初始化的可行替代方案？
• RQ4 与标准训练方法相比，贪心浅层网络在准确率和效率方面的表现如何？
• RQ5 在何种条件下，所构建的网络可作为完全训练的模型而非仅作为初始化使用？

主要发现

• 基于ridgelet的积分表示显著降低了字典的基数，使贪心选择在计算上变得可行。
• 所提出方法构建的浅层网络在无需反向传播的情况下实现了具有竞争力的性能。
• 所得网络架构在某些情况下可直接用作有效初始化或完全训练的模型。
• 数值实验验证了该方法的可行性，并展示了其在传统架构选择与初始化技术上的优势。
• 该方法实现了更快的网络构建速度，并相比标准深度学习流水线显著降低了训练开销。
• 该方法在降低对迭代优化依赖方面展现出潜力，尤其适用于训练成本过高的场景。