[论文解读] To go deep or wide in learning?

Gaurav Pandey, Ambedkar Dukkipati|arXiv (Cornell University)|Feb 23, 2014

Domain Adaptation and Few-Shot Learning参考文献 16被引用 18

一句话总结

该论文提出了一种基于协方差反余弦核的广义学习方法，在单个无限宽层中实现高斯过程近似，从而在监督学习中取得优异性能，无需对深层网络进行微调。通过从限制玻尔兹曼机（RBM）学习协方差矩阵，该方法在MNIST和旋转MNIST等基准数据集上的表现优于浅层和深层有限宽度模型，在背景随机的MNIST数据集上实现了0.95%的测试误差。

ABSTRACT

To achieve acceptable performance for AI tasks, one can either use sophisticated feature extraction methods as the first layer in a two-layered supervised learning model, or learn the features directly using a deep (multi-layered) model. While the first approach is very problem-specific, the second approach has computational overheads in learning multiple layers and fine-tuning of the model. In this paper, we propose an approach called wide learning based on arc-cosine kernels, that learns a single layer of infinite width. We propose exact and inexact learning strategies for wide learning and show that wide learning with single layer outperforms single layer as well as deep architectures of finite width for some benchmark datasets.

研究动机与目标

• 为解决深度神经网络存在的高计算成本和对超参数调优的依赖等局限性，提出一种替代性学习范式。
• 通过在单个宽层中直接学习特征，消除深层网络架构中对微调的需求。
• 证明使用反余弦核的单层无限宽网络可优于浅层和深层有限宽度模型。
• 表明通过RBM导出的协方差矩阵在反余弦核中能有效捕捉不变性并解耦变化因素。

提出的方法

• 提出基于反余弦核的广义学习方法，将单个隐藏层建模为无限宽，以近似核方法。
• 使用限制玻尔兹曼机（RBM）学习权重矩阵，并从中提取协方差矩阵用于核函数。
• 将协方差反余弦核作为非参数核函数，以捕捉复杂特征表示。
• 引入精确与近似两种学习策略训练广义层，降低计算成本同时保持性能。
• 在广义层输出上应用核方法（如SVM）进行最终分类，避免反向传播与微调。
• 证明当堆叠多层时，其效果等价于组合多个反余弦核，尽管仅第一层被训练。

实验结果

研究问题

• RQ1 使用反余弦核的单个无限宽层是否能在监督学习任务中优于浅层和深层有限宽度模型？
• RQ2 在反余弦核中通过RBM学习协方差矩阵是否能提供优于标准特征提取或深层网络的特征表示？
• RQ3 广义学习是否能消除深层网络架构中基于反向传播的微调需求？
• RQ4 广义学习在基准数据集上的性能与深度信念网络（DBNs）和堆叠自编码器等最先进方法相比如何？

主要发现

• 在带有随机背景的MNIST数据集上，协方差反余弦核实现了0.95%的测试误差，优于表1中列出的所有其他方法。
• 在旋转MNIST数据集上，该方法实现了8.11%的误差，显著低于深度信念网络（DBN）的12.30%和堆叠自编码器的11.43%。
• 在凸/凹集数据集上，该方法实现了17.02%的误差，与表中最佳结果持平，并优于标准SVM和神经网络。
• 在原始MNIST数据集上，单个宽层模型在仅2个训练周期后即达到98.9%的准确率，表现出快速收敛。
• 堆叠多层并未提升性能，表明单个宽层已足够捕捉数据中的不变性。
• 该方法显著减少了需调优的超参数数量，消除了深度学习中常见的昂贵网格搜索需求。