[论文解读] Cross-Modulation Networks for Few-Shot Learning

Hugo Prol, Vincent Dumoulin+1 more|arXiv (Cornell University)|Dec 1, 2018

Domain Adaptation and Few-Shot Learning参考文献 20被引用 5

一句话总结

本文提出跨调制网络（Cross-Modulation Networks），一种新颖的架构，通过使用FiLM层进行逐特征调制，在少样本学习中实现支持样本与查询样本在多个抽象层次上的交互。通过将该机制集成到匹配网络（Matching Networks）中，该模型在miniImageNet数据集的5类1样本设置下达到最先进性能，表明跨调制通过联合条件化对中间表示进行精细化处理，显著提升了泛化能力。

ABSTRACT

A family of recent successful approaches to few-shot learning relies on learning an embedding space in which predictions are made by computing similarities between examples. This corresponds to combining information between support and query examples at a very late stage of the prediction pipeline. Inspired by this observation, we hypothesize that there may be benefits to combining the information at various levels of abstraction along the pipeline. We present an architecture called Cross-Modulation Networks which allows support and query examples to interact throughout the feature extraction process via a feature-wise modulation mechanism. We adapt the Matching Networks architecture to take advantage of these interactions and show encouraging initial results on miniImageNet in the 5-way, 1-shot setting, where we close the gap with state-of-the-art.

研究动机与目标

• 解决基于度量的少样本学习中后期相似性计算的局限性，即支持与查询特征仅在最终嵌入层进行比较。
• 探究在特征提取过程中支持与查询样本的早期及持续交互是否能提升表示质量与泛化能力。
• 开发一种跨调制机制，利用支持与查询特征作为条件信号，对中间表示进行逐特征调制。
• 证明此类交互可使少样本分类中的度量空间更具鲁棒性与判别性。
• 探究网络中不同抽象层次上跨调制的必要性与有效性。

提出的方法

• 提出一种基于特征逐线性调制（FiLM）的跨调制机制，其中调制参数（γ, β）由一个FiLM生成器生成，该生成器以支持与查询特征作为输入。
• 通过将全连接头应用于支持与查询特征图的全局平均池化后拼接结果，计算调制参数，实现在每一层的联合条件化。
• 对中间卷积特征应用FiLM变换：$\mathrm{FiLM}(x) = (1 + \gamma_0 \gamma_z) \odot x + \beta_0 \beta_z $，其中$\gamma_0, \beta_0$为可学习参数，$\gamma_z, \beta_z$为被调制的参数。
• 在特征提取器的三个主要卷积块之后集成跨调制模块，实现在多个抽象层次上的交互。
• 对$\gamma_0$和$\beta_0$施加L1正则化，以鼓励稀疏且选择性的调制，聚焦于相关特征。
• 通过将匹配网络框架中的标准特征提取器替换为跨调制版本，实现模型适配，同时保持基于余弦相似度与加权投票的相同推理机制。

实验结果

研究问题

• RQ1 支持与查询样本的早期及持续交互是否能超越后期相似性匹配，进一步提升少样本分类性能？
• RQ2 在多个抽象层次上实施跨调制是否能带来更具鲁棒性与判别性的特征表示？
• RQ3 模型在多大程度上依赖于跨调制而非自调制？哪些网络模块从跨调制中获益最多？
• RQ4 跨调制对整体性能的贡献有多大？若破坏其结构是否会导致准确率显著下降？
• RQ5 该跨调制机制能否在不进行架构大规模重构的前提下，有效应用于标准度量学习基线模型（如匹配网络）？

主要发现

• 所提出的跨调制网络在miniImageNet的5类1样本设置下达到78.4%的测试准确率，显著缩小了与最先进方法的差距。
• 通过向调制参数添加随机噪声来破坏跨调制机制，导致测试准确率下降7.97%，证实模型在训练过程中已学会依赖跨调制。
• 分析显示，模型在第二和第四卷积块处对跨调制的使用最为强烈，表现为这些层中$\gamma_0$与$\beta_0$后乘数的绝对值更高。
• 对FiLM生成器权重矩阵的分析表明，尽管自调制对调制参数的影响更强，但跨调制仍对最终表示有显著贡献。
• 消融实验表明，选择性地禁用不同模块中的跨调制会降低性能，其中最显著的下降发生在第二和第四卷积块的调制被移除时。
• 跨调制带来的性能提升在1样本设置下最为显著，而在5样本设置下仅提升0.59%，表明随着少样本数据增加，收益呈递减趋势。