[论文解读] Infinite Mixture Prototypes for Few-Shot Learning

Kelsey R. Allen, Evan Shelhamer+2 more|arXiv (Cornell University)|Feb 12, 2019

Domain Adaptation and Few-Shot Learning被引用 80

一句话总结

引入 Infinite Mixture Prototypes (IMP)，它用由数据推断的多个簇来表示每个类别，在最近邻与原型表示之间提供自适应容量，并提升 few-shot learning、semi-supervised learning 与 unsupervised clustering 的性能。

ABSTRACT

We propose infinite mixture prototypes to adaptively represent both simple and complex data distributions for few-shot learning. Our infinite mixture prototypes represent each class by a set of clusters, unlike existing prototypical methods that represent each class by a single cluster. By inferring the number of clusters, infinite mixture prototypes interpolate between nearest neighbor and prototypical representations, which improves accuracy and robustness in the few-shot regime. We show the importance of adaptive capacity for capturing complex data distributions such as alphabets, with 25% absolute accuracy improvements over prototypical networks, while still maintaining or improving accuracy on the standard Omniglot and mini-ImageNet benchmarks. In clustering labeled and unlabeled data by the same clustering rule, infinite mixture prototypes achieves state-of-the-art semi-supervised accuracy. As a further capability, we show that infinite mixture prototypes can perform purely unsupervised clustering, unlike existing prototypical methods.

研究动机与目标

• 激发 few-shot learning 中自适应模型容量，以同时处理简单和多模态的类别分布。
• 引入 Infinite Mixture Prototypes (IMP)，用从数据推断的不同数量簇来表示每个类别。
• 将该方法扩展到 semi-supervised 和完全无监督聚类场景。
• 在 Omniglot 与 mini-ImageNet 上展示相对于 prototypical networks 的经验性提升，尤其是对复杂字母表，同时保留对简单类别的表现。

提出的方法

• 将每个类别表示为簇集合，簇均值与方差是可学习的。
• 使用受 DP-means 启发的聚类，在 episode 处理过程中推断每个类别的簇数量。
• 学习一个深度嵌入 h_phi，将输入映射到定义簇的特征空间。
• 引入区分有标签数据的 sigma_l 与无标签数据的 sigma_u 的簇方差，并端到端学习。
• 优化多模态损失，聚焦于每个类别最近的簇，以避免对多模态的过罚。
• 通过与 CRP 浓度和学习方差的关系间接地调整创建新簇的阈值 lambda（方程启发）。
• 通过到每个类别内最近簇的距离来分类查询，并对这些类别内最近簇进行 softmax。

实验结果

研究问题

• RQ1 每个类别的自适应多模态聚类能否改进相较于单模态原型在 few-shot 分类上的表现？
• RQ2 学习每个簇的方差以及多模态聚类，是否能在同一框架内有效利用未标记数据和无监督聚类？
• RQ3 IMP 在简单（单模态）与复杂（多模态）数据分布（如 Omniglot 字符与字母表）以及半监督设置下的表现如何？
• RQ4 与固定容量原型网络相比，端到端学习簇容量在跨任务和数据集时是否鲁棒？

主要发现

• 相较于原型网络，IMP 在复杂的多模态字母表（Omniglot 字母表）上取得更高准确性，同时在简单字符上保持性能。
• 学习簇方差（sigma）并实现多模态聚类，显著提升 few-shot 准确性和鲁棒性，尤其在半监督设置。
• IMP 将有标签数据和无标签数据的聚类统一在一条规则下，使之能够进行原型网络无法实现的完全无监督聚类。
• 在实验中，IMP 在 Omniglot 与 mini-ImageNet 基准测试中，在 fully supervised 与 semi-supervised 情况下，对邻近方法和原型方法表现出具竞争力甚至优越的结果。
• 消融研究显示，分离的 sigma_l 与 sigma_u 相较于共享的 sigma 可以提升结果，且多模态方法对创建新簇阈值的选择更鲁棒。