[论文解读] Gaussian Gated Linear Networks

David Budden, Adam Marblestone+4 more|arXiv (Cornell University)|Jun 10, 2020

Gaussian Processes and Bayesian Inference参考文献 44被引用 6

一句话总结

本文提出高斯门控线性网络（G-GLN），一种无需反向传播的深度学习框架，通过将输出建模为高斯密度的加权乘积，将无需反向传播的GLN家族扩展至回归与密度估计任务。通过使用输入相关的门控机制对每个神经元进行局部在线凸优化，G-GLN在回归基准上实现了最先进性能，对灾难性遗忘具有鲁棒性，并在在线上下文Bandit和图像去噪任务中表现优异。

ABSTRACT

We propose the Gaussian Gated Linear Network (G-GLN), an extension to the recently proposed GLN family of deep neural networks. Instead of using backpropagation to learn features, GLNs have a distributed and local credit assignment mechanism based on optimizing a convex objective. This gives rise to many desirable properties including universality, data-efficient online learning, trivial interpretability and robustness to catastrophic forgetting. We extend the GLN framework from classification to multiple regression and density modelling by generalizing geometric mixing to a product of Gaussian densities. The G-GLN achieves competitive or state-of-the-art performance on several univariate and multivariate regression benchmarks, and we demonstrate its applicability to practical tasks including online contextual bandits and density estimation via denoising.

研究动机与目标

• 通过使用高斯分布，将GLN框架从分类扩展至回归与密度建模。
• 通过实现局部、分布式信用分配，解决反向传播在在线学习与持续学习中的局限性。
• 通过分段线性结构实现数据高效、在线学习，具备对灾难性遗忘的鲁棒性与可解释性。
• 在无需反向传播的前提下，证明其在上下文Bandit与图像去噪等实际任务中的适用性。
• 通过凸优化与高斯乘积封闭性，在单变量与多变量回归基准上实现具有竞争力的性能。

提出的方法

• 将每个神经元建模为高斯密度的加权乘积，其中权重由输入相关的上下文函数门控。
• 利用指数族分布的封闭性：高斯分布的乘积仍是高斯分布，从而实现精确的参数更新。
• 通过在线梯度下降优化神经元参数，损失函数为凸对数损失，确保收敛性与稳定性。
• 通过从带加法偏置的分布中采样上下文函数，按输入选择激活权重，实现非线性函数逼近。
• 使用切换聚合机制将多个G-GLN神经元组合为最终输出分布，提升表达能力。
• 通过训练过程中的投影操作对权重与方差施加约束，以保持数值稳定性与正定性。

实验结果

研究问题

• RQ1 能否通过高斯分布将GLN框架扩展至建模实值与多变量数据？
• RQ2 在G-GLN中，局部在线凸优化是否能在回归与密度估计任务中保持性能与稳定性？
• RQ3 与标准深度网络相比，G-GLN在上下文Bandit等在线学习设置下的表现如何？
• RQ4 G-GLN能否在无需反向传播的前提下实现密度估计与去噪任务的竞争力结果？
• RQ5 门控机制与凸优化对灾难性遗忘鲁棒性与模型可解释性有何影响？

主要发现

• G-GLN在多个单变量与多变量回归基准上实现了竞争力或最先进性能，涵盖SARCOS与UCI数据集。
• 在SARCOS数据集上，G-GLN实现了0.0022的测试均方误差，优于相同设置下的基线方法。
• 在上下文Bandit实验中，G-GLN在无需反向传播的情况下，性能与标准深度网络相当或更优，展现出强大的在线学习能力。
• 在MNIST图像去噪任务中，G-GLN实现了-1.25比特/维度的测试对数似然，与使用ReLU激活的标准MLP性能相当。
• 该模型对灾难性遗忘表现出鲁棒性，在无需微调的情况下，可在连续任务中保持性能。
• 通过凸优化与局部训练，实现了通过分段线性结构带来的简单可解释性与稳定收敛。