[论文解读] DPGN: Distribution Propagation Graph Network for Few-shot Learning

L. Yang, Liangliang Li+4 more|arXiv (Cornell University)|Mar 31, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用 24

一句话总结

DPGN 提出了一种新颖的双完备图网络，显式建模少样本学习中的实例级关系与分布级关系。通过在点图和分布图之间循环传播标签信息，DPGN 实现了最先进性能，在基准数据集的监督设置下相比先前方法提升 5%–12%，在半监督设置下提升 7%–13%。

ABSTRACT

Most graph-network-based meta-learning approaches model instance-level relation of examples. We extend this idea further to explicitly model the distribution-level relation of one example to all other examples in a 1-vs-N manner. We propose a novel approach named distribution propagation graph network (DPGN) for few-shot learning. It conveys both the distribution-level relations and instance-level relations in each few-shot learning task. To combine the distribution-level relations and instance-level relations for all examples, we construct a dual complete graph network which consists of a point graph and a distribution graph with each node standing for an example. Equipped with dual graph architecture, DPGN propagates label information from labeled examples to unlabeled examples within several update generations. In extensive experiments on few-shot learning benchmarks, DPGN outperforms state-of-the-art results by a large margin in 5% $\sim$ 12% under supervised setting and 7% $\sim$ 13% under semi-supervised setting. Code will be released.

研究动机与目标

• 解决现有基于图的元学习方法仅关注成对（实例级）关系的局限性。
• 在少样本学习任务中显式建模分布级关系——即每个样本与所有支持样本整体分布的关系。
• 通过循环双图架构融合实例级与分布级关系，提升标签传播与特征优化。
• 通过利用分布相似性桥梁，将未标记支持样本引入框架，实现半监督少样本学习。
• 在监督与半监督少样本学习基准上，显著超越最先进方法，实现准确率提升。

提出的方法

• 构建点图（PG），其中每个节点代表一个支持样本或查询样本，节点特征源自深度神经网络嵌入。
• 通过计算每个样本与所有支持样本之间的 1-vs-N 相似度分布，构建分布图（DG），形成分布级表示。
• 实施循环更新机制：通过分布表示将标签信息从 PG 传播至 DG，再利用 DG 的分布关系对 PG 进行优化。
• 在两个图中使用节点与边的更新模块，通过多代迭代（最多 6 代）逐步优化特征。
• 在元训练过程中联合优化网络参数，集成点图损失与分布图损失。
• 通过将未标记样本引入支持集，并利用分布相似性在标记与未标记节点之间传播标签，实现半监督学习。

实验结果

研究问题

• RQ1 建模分布级关系——即每个样本与支持样本全集的比较——是否能超越仅依赖实例级关系，提升少样本分类性能？
• RQ2 点图与分布图之间的循环交互如何增强标签传播与特征判别能力？
• RQ3 DPGN 中循环消息传递的最优代数是多少，以在准确率与收敛时间之间取得平衡？
• RQ4 在支持集中存在未标记样本的半监督少样本学习中，DPGN 的有效性如何？
• RQ5 相比仅依赖实例级关系，分布级关系在性能提升中所起的作用有多大？

主要发现

• 在 miniImageNet、tieredImageNet、CUB-200-2011 和 CIFAR-FS 数据集上，DPGN 在监督设置下相比最先进方法实现 5%–12% 的绝对准确率提升。
• 在半监督少样本学习中，DPGN 相比现有基于图的方法准确率提升 7%–13%，表明其在利用未标记支持样本方面具有强大泛化能力。
• 消融研究显示，当仅保留 0–5 个维度的分布图边特征时，准确率下降近 10%，证明分布级关系的关键作用。
• 最优代数为 6 代，因为准确率在此之后趋于平稳并出现波动，实现了性能与计算成本的平衡。
• 相似度矩阵的可视化显示，DPGN 随代数增加逐步优化实例级相似度，增大类间距离并提升预测置信度。
• 双图架构成功增强了特征判别性，表现为最终预测代数的热图更清晰、更具区分度。