[论文解读] Learning Infinite-Layer Networks: Without the Kernel Trick
本文提出了一种用于无限层网络（ILNs）的在线学习算法，通过使用随机特征采样绕过核技巧，实现了与核方法相当的遗憾边界。关键贡献在于证明了即使核函数无法解析计算，随机特征也足以实现高效学习，且样本复杂度与基于核的方法相当。
Infinite--Layer Networks (ILN) have recently been proposed as an architecture that mimics neural networks while enjoying some of the advantages of kernel methods. ILN are networks that integrate over infinitely many nodes within a single hidden layer. It has been demonstrated by several authors that the problem of learning ILN can be reduced to the kernel trick, implying that whenever a certain integral can be computed analytically they are efficiently learnable. In this work we give an online algorithm for ILN, which avoids the kernel trick assumption. More generally and of independent interest, we show that kernel methods in general can be exploited even when the kernel cannot be efficiently computed but can only be estimated via sampling. We provide a regret analysis for our algorithm, showing that it matches the sample complexity of methods which have access to kernel values. Thus, our method is the first to demonstrate that the kernel trick is not necessary as such, and random features suffice to obtain comparable performance.
研究动机与目标
- 开发一种不依赖核技巧的高效无限层网络（ILNs）学习算法。
- 证明在ILN学习中，随机特征采样可替代精确的核函数计算，同时保持相近的性能。
- 为所提方法建立与基于核的方法相当的理论遗憾边界。
- 证明随机特征足以在ILN学习中实现最优样本复杂度。
提出的方法
- 该算法使用在线随机梯度下降，通过从先验测度μ中随机采样参数w，获得核函数的无偏估计。
- 通过采样w并计算每个样本的ψ(x;w)，构建ILN公式中积分的随机特征近似。
- 该方法采用归一化方案，以确保特征范数有界，提升梯度更新的稳定性。
- 通过遗憾分析表明，该算法可实现O(1/√T)的遗憾，与监督学习的理论下界一致。
- 该算法根据预测误差动态调整权重向量f_t，并通过剪枝步骤保持计算效率。
- 利用浓度不等式推导理论边界，以控制有限特征采样带来的估计误差。
实验结果
研究问题
- RQ1是否可以在不依赖核技巧的情况下，高效学习无限层网络？
- RQ2随机特征采样是否足以在ILN学习中实现最优遗憾与样本复杂度？
- RQ3采样特征的数量与ILN泛化性能之间存在何种关系？
- RQ4ILN的在线学习算法能否达到批量核方法的理论性能？
主要发现
- 所提算法实现了O(1/√T)的遗憾边界，与监督学习的理论下界一致。
- 该方法需要Õ(T²)次对随机特征生成器的调用，与批量方法中核矩阵计算的成本相当。
- 即使核函数无法解析计算，该算法仍能保持与基于核的方法相当的性能。
- 理论分析表明，随机特征可对核函数提供无偏估计，从而实现在最优样本复杂度下的收敛。
- 浓度边界表明，该算法在特征范数有界且梯度方差受控时具有鲁棒性能。
- 与先前的随机特征方法相比，该方法在ILN学习的样本复杂度与表达能力方面均有改进。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。