[论文解读] Learning Prototype-oriented Set Representations for Meta-Learning

Dandan Guo, Long Tian+3 more|arXiv (Cornell University)|Oct 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 40被引用 4

一句话总结

该论文提出一种原型导向最优传输（POT）框架，通过将每个集合建模为全局原型上的分布，并最小化经验集合分布与基于原型的分布之间的正则化最优传输距离，从而在元学习中提升集合结构数据的摘要网络性能。该方法在MNIST、Flowers和Animal Faces基准上实现了少样本分类与生成建模的最先进性能，显著增强了特征表示学习能力。

ABSTRACT

Learning from set-structured data is a fundamental problem that has recently attracted increasing attention, where a series of summary networks are introduced to deal with the set input. In fact, many meta-learning problems can be treated as set-input tasks. Most existing summary networks aim to design different architectures for the input set in order to enforce permutation invariance. However, scant attention has been paid to the common cases where different sets in a meta-distribution are closely related and share certain statistical properties. Viewing each set as a distribution over a set of global prototypes, this paper provides a novel prototype-oriented optimal transport (POT) framework to improve existing summary networks. To learn the distribution over the global prototypes, we minimize its regularized optimal transport distance to the set empirical distribution over data points, providing a natural unsupervised way to improve the summary network. Since our plug-and-play framework can be applied to many meta-learning problems, we further instantiate it to the cases of few-shot classification and implicit meta generative modeling. Extensive experiments demonstrate that our framework significantly improves the existing summary networks on learning more powerful summary statistics from sets and can be successfully integrated into metric-based few-shot classification and generative modeling applications, providing a promising tool for addressing set-input and meta-learning problems.

研究动机与目标

• 解决现有摘要网络在捕捉有意义、可迁移的摘要统计量方面存在的局限性，尤其是在低样本或元学习设置下。
• 通过引入基于全局原型的分布建模方法，提升集合编码网络的表征能力。
• 通过最优传输提供一种即插即用的无监督正则化机制，增强模型泛化能力，且无需任务特定的微调。
• 通过学习跨相关任务的共享结构化表示，实现对未见集合与分布的更好适应。
• 将摘要网络的适用范围扩展至监督少样本分类与无监督隐式生成建模。

提出的方法

• 将每个输入集合建模为基于其数据点的经验分布，以及基于K个全局可学习原型的原型分布。
• 使用摘要网络（如Set Transformer、DeepSets）将输入集合编码为原型比例向量h_j，表示每个全局原型的重要性。
• 将学习目标表述为最小化经验分布P_j与基于原型的分布Q_j之间的正则化最优传输（OT）距离。
• 以端到端方式联合优化任务特定损失（如分类的交叉熵损失、生成的GAN损失）与基于原型的OT损失。
• 引入一种可微的无监督正则化项，促使摘要网络学习到更鲁棒且可迁移的表征。
• 将该框架应用于基于度量的少样本分类与隐式元生成建模，仅需极少的架构修改。

实验结果

研究问题

• RQ1 基于原型的分布建模方法是否能提升摘要网络对集合结构输入的表征能力？
• RQ2 在经验分布与基于原型的分布之间引入最优传输，如何增强少样本学习中的泛化能力？
• RQ3 所提出的POT框架在数据有限的隐式生成建模中，性能提升程度如何？
• RQ4 该框架能否作为插件模块应用于现有元学习模型，而无需架构重构？
• RQ5 与监督基线相比，无监督OT正则化是否能带来对未见分布更好的泛化性能？

主要发现

• POT框架在少样本图像分类任务中显著提升了基线摘要网络性能，在Omniglot和mini-ImageNet上达到最先进水平。
• 在旋转MNIST基准上，CGAN+POT将FID从213.30降低至159.51（A = -180°），表明对未见旋转角度具有更优泛化能力。
• 在Flowers与Animal Faces数据集的少样本图像生成任务中，DAGAN+POT实现了最低的FID分数，表明生成样本更具真实感与多样性。
• POT损失显著提升了零样本泛化能力，DAGAN+POT在未见Animal Faces类别上的FID较DAGAN提升17.1%。
• 该方法在多个基准与任务中均实现一致性能提升，验证了其作为即插即用正则化器的有效性。
• 由于结构化的原型表征，该框架即使在低样本与分布偏移条件下，也能成功捕捉集合的关键统计特征。