[论文解读] Hierarchical Indian Buffet Neural Networks for Bayesian Continual Learning

Samuel Kessler, Vu Nguyen+2 more|arXiv (Cornell University)|Dec 4, 2019

Domain Adaptation and Few-Shot Learning参考文献 50被引用 10

一句话总结

该论文提出一种基于印度餐厅套餐过程（IBP）与分层IBP（H-IBP）先验的贝叶斯神经网络（BNN），以实现在持续学习中自动、数据驱动的网络复杂度自适应。通过使用重参数化伯努利与贝塔分布的在线变分推断，该模型可动态扩展或收缩隐藏层神经元，克服灾难性遗忘与资源错配问题，在MNIST变体数据集上实现具有竞争力的性能，且在权重剪枝下的鲁棒性优于先前方法。

ABSTRACT

We place an Indian Buffet process (IBP) prior over the structure of a Bayesian Neural Network (BNN), thus allowing the complexity of the BNN to increase and decrease automatically. We further extend this model such that the prior on the structure of each hidden layer is shared globally across all layers, using a Hierarchical-IBP (H-IBP). We apply this model to the problem of resource allocation in Continual Learning (CL) where new tasks occur and the network requires extra resources. Our model uses online variational inference with reparameterisation of the Bernoulli and Beta distributions, which constitute the IBP and H-IBP priors. As we automatically learn the number of weights in each layer of the BNN, overfitting and underfitting problems are largely overcome. We show empirically that our approach offers a competitive edge over existing methods in CL.

研究动机与目标

• 为解决持续学习中动态资源分配的挑战，固定网络架构可能导致欠拟合或过拟合。
• 通过使用结构化先验的贝叶斯推断，克服顺序任务学习中的灾难性遗忘问题。
• 通过非参数贝叶斯先验实现网络复杂度的自动、数据驱动的扩展与剪枝。
• 通过严谨的贝叶斯框架弥合基于扩展与基于正则化方法之间的差距。

提出的方法

• 在二值连接矩阵Z上应用印度餐厅套餐过程（IBP）先验，以实现每层隐藏层的自动神经元选择。
• 将IBP扩展为分层IBP（H-IBP），在所有层之间共享结构化先验，促进结构规律性与泛化能力。
• 使用重参数化技术的在线变分推断处理伯努利与贝塔分布，以实现高效、顺序化的学习。
• 将BNN权重视为独立高斯分布的抽样结果，通过贝叶斯更新顺序更新后验推断。
• 对IBP采用Concreate松弛方法，以实现二值矩阵Z的可微采样与训练。
• 通过阈值（z_k > 0.1）定义神经元激活，实现可解释且可训练的结构发现。

实验结果

研究问题

• RQ1 贝叶斯神经网络能否在持续学习过程中根据任务难度自动调整隐藏层复杂度？
• RQ2 对网络结构共享的分层先验在持续学习中如何提升泛化能力并防止过拟合？
• RQ3 所提模型在准确率与鲁棒性方面，相较于现有贝叶斯与基于扩展的持续学习方法，优势程度如何？
• RQ4 使用重参数化变分推断结合IBP/H-IBP先验是否能带来更优的权重方差估计与剪枝鲁棒性？

主要发现

• 所提模型在Split MNIST CL1上的平均测试准确率达到95.1% ± 1.1，与强基线BSCL（95.2% ± 1.5）相当。
• 在基于信噪比（|μ|/σ）的权重剪枝中表现出更优的鲁棒性，准确率达95.0% ± 0.0，优于BSCL的98.0% ± 0.1。
• 尽管BSCL使用了额外可学习参数（p_k），所提方法仍以更简洁、更合理的贝叶斯结构实现相当性能。
• 变分参数α随任务增加而上升，反映自适应扩展；而BSCL虽呈现相似α增长，但无相应神经元激活。
• 模型避免存储历史Z矩阵，转而依赖顺序贝叶斯更新，相比BSCL的参数存储策略，显著降低内存占用。
• H-IBP先验使网络结构更规则、更稳定，提升顺序学习中的泛化能力并减少过拟合。