[论文解读] GP-Tree: A Gaussian Process Classifier for Few-Shot Incremental Learning

Idan Achituve, Aviv Navon+3 more|arXiv (Cornell University)|Feb 15, 2021

Gaussian Processes and Bayesian Inference参考文献 67被引用 5

一句话总结

GP-Tree 通过使用分层二叉树结构的高斯过程分类器并结合 Pólya-Gamma 扩展，提出了一种适用于少样本增量学习的可扩展高斯过程分类方法，实现了对大规模类别和数据集的高效推理。该方法在 mini-ImageNet 和 CUB 基准测试中达到了最先进性能，在后续增量学习阶段优于现有方法，并有效缓解了灾难性遗忘问题。

ABSTRACT

Gaussian processes (GPs) are non-parametric, flexible, models that work well in many tasks. Combining GPs with deep learning methods via deep kernel learning (DKL) is especially compelling due to the strong representational power induced by the network. However, inference in GPs, whether with or without DKL, can be computationally challenging on large datasets. Here, we propose GP-Tree, a novel method for multi-class classification with Gaussian processes and DKL. We develop a tree-based hierarchical model in which each internal node of the tree fits a GP to the data using the Pólya Gamma augmentation scheme. As a result, our method scales well with both the number of classes and data size. We demonstrate the effectiveness of our method against other Gaussian process training baselines, and we show how our general GP approach achieves improved accuracy on standard incremental few-shot learning benchmarks.

研究动机与目标

• 解决高斯过程分类（GPC）在处理大量类别和数据集时的可扩展性限制。
• 克服将 GPC 应用于少样本增量学习（FSCIL）时面临的计算与统计挑战，其中样本稀少和持续学习新类别是主要约束条件。
• 开发一种灵活且可扩展的 GPC 框架，通过 Pólya-Gamma 扩展支持变分推断与吉布斯采样。
• 通过结合深度核学习（DKL）与诱导点技术，展示高斯过程在大规模图像分类中用于 FSCIL 的有效性。
• 证明 GP-Tree 能够在学习少量样本的新类别时，有效减少灾难性遗忘并保持对基础类别的高准确率。

提出的方法

• GP-Tree 构建了一个二叉树层次结构，其中每个内部节点使用带有 Pólya-Gamma 扩展的高斯过程执行二分类任务，以处理非高斯似然。
• 树中的每个节点通过 Pólya-Gamma 方法对其子集数据拟合 GP，支持通过吉布斯采样或使用诱导点的变分推断实现精确后验推断。
• 通过将多分类问题分解为树结构中一系列二分类任务，实现了在类别数量和数据规模上均高效的扩展。
• 通过使用深度神经网络提取特征并计算核函数，将深度核学习（DKL）集成到方法中，增强了图像数据的表征能力。
• 在大规模训练中，采用诱导点近似完整 GP，降低计算成本，同时保持贝叶斯泛化能力。
• 模型通过随机优化端到端训练，超参数在基础类别上保留的验证集上进行调优。

实验结果

研究问题

• RQ1 高斯过程分类能否在具有大量类别的多分类问题中实现有效扩展？
• RQ2 当通过分层树结构扩展时，Pólya-Gamma 扩展方案在多分类 GPC 中的表现如何？
• RQ3 与现有最先进方法相比，GP-Tree 是否能在少样本增量学习中实现更优性能？
• RQ4 使用诱导点与 DKL 是否能使 GP-Tree 在少量样本学习中保持低遗忘水平？
• RQ5 在标准 FSCIL 基准测试中，GP-Tree 在增量学习各阶段的准确率与稳定性表现如何？

主要发现

• 在 mini-ImageNet 基准测试中，GP-Tree 在第 5 至 9 次会话中取得了最高准确率，优于所有基线方法，包括 TOPIC、PODNet 和 SDC。
• 在 CUB 数据集上，GP-Tree 在第 4 至 11 次会话中实现了最佳平均准确率，表明其在后期增量阶段（遗忘与数据稀缺最为严峻）具有卓越性能。
• GP-Tree 的平均遗忘率更低（CUB 上为 0.4 标准误差，mini-ImageNet 上为 0.2），表明其有效缓解了灾难性遗忘。
• 该方法在基础类别上的准确率高于新类别，这符合预期，因为特征提取器是固定的，且新类别样本有限。
• 非线性核函数显著优于线性核，凸显了在 GP-Tree 中表达性核学习的重要性。
• 敏感性分析表明，每类代表性样本数量与核函数选择对性能有显著影响，最优结果在使用非线性核与足够代表性样本时达成。