[论文解读] LaSO: Label-Set Operations networks for multi-label few-shot learning

Amit Alfassy, Leonid Karlinsky+6 more|arXiv (Cornell University)|Feb 26, 2019

Domain Adaptation and Few-Shot Learning参考文献 42被引用 7

一句话总结

LaSO 提出了一种用于多标签少样本学习的新型神经网络架构，通过从输入图像特征中学习合成特征向量，实现对标签集操作（例如交集、并集、减法）的处理。该方法通过可微操作有效结合特征，在 MS-COCO 上实现了最先进性能，优于检索基线方法，并实现了对复杂标签组合的准确零样本预测。

ABSTRACT

Example synthesis is one of the leading methods to tackle the problem of few-shot learning, where only a small number of samples per class are available. However, current synthesis approaches only address the scenario of a single category label per image. In this work, we propose a novel technique for synthesizing samples with multiple labels for the (yet unhandled) multi-label few-shot classification scenario. We propose to combine pairs of given examples in feature space, so that the resulting synthesized feature vectors will correspond to examples whose label sets are obtained through certain set operations on the label sets of the corresponding input pairs. Thus, our method is capable of producing a sample containing the intersection, union or set-difference of labels present in two input samples. As we show, these set operations generalize to labels unseen during training. This enables performing augmentation on examples of novel categories, thus, facilitating multi-label few-shot classifier learning. We conduct numerous experiments showing promising results for the label-set manipulation capabilities of the proposed approach, both directly (using the classification and retrieval metrics), and in the context of performing data augmentation for multi-label few-shot learning. We propose a benchmark for this new and challenging task and show that our method compares favorably to all the common baselines.

研究动机与目标

• 为解决每类仅有少量标注样本的多标签少样本学习挑战。
• 实现对训练期间未见过的复杂标签组合的零样本预测。
• 通过深度神经网络学习端到端可微的标签集操作（例如交集、并集、减法）。
• 通过合成代表输入标签逻辑组合的特征向量，提升泛化能力。
• 在真实世界图像理解任务中展示学习到的标签集操作的有效性。

提出的方法

• LaSO 学习一个可微神经网络，将输入图像特征映射到代表逻辑标签集操作的合成特征向量。
• 该模型经过训练，可预测与目标标签集操作（例如 A ∩ B）真实特征向量最接近的特征向量。
• 通过以可学习、可微的方式组合多个输入图像的特征表示，实现交集、并集和减法等标签集操作。
• 该方法采用基于检索的监督方式，模型学习生成一个特征向量，使其与验证集中目标标签集最近邻的特征向量相匹配。
• 引入了一种分析型 LaSO 变体，该变体无需学习参数即可计算操作，作为强基线。
• 该框架在 MS-COCO 上进行评估，使用 64 个类别进行训练，并在验证集上进行零样本推理。

实验结果

研究问题

• RQ1 深度学习模型能否从少样本示例中学习合成代表标签逻辑组合（例如交集或并集）的特征向量？
• RQ2 与检索基线相比，学习到的 LaSO 操作在未见标签集组合上的泛化能力如何？
• RQ3 该模型在如减法和嵌套操作（如 A \ (B ∩ C)）等多样化操作上是否表现良好？
• RQ4 该模型能否泛化到训练数据中未出现的复杂标签集的零样本预测？
• RQ5 在准确性和鲁棒性方面，学习到的 LaSO 与分析型变体和标准检索方法相比表现如何？

主要发现

• LaSO 通过学习合成与特征空间中真实最近邻高度匹配的特征向量，在零样本多标签预测中表现卓越。
• 学习到的 LaSO 操作显著优于使用单一输入的检索基线，尤其在 A \ (B ∩ C) 等复杂操作上表现更优。
• 可视化结果表明，LaSO 合成的特征向量在语义上与真实标签对齐，表现为青色边框的预测与真实概念一致。
• 分析型 LaSO 变体表现具有竞争力，表明标签集操作的几何结构具有意义且可学习。
• 该方法在未见标签组合上泛化良好，展示了在 MS-COCO 上多标签少样本场景下的鲁棒性。
• 该框架成功处理了包括交集、并集、减法和嵌套组合在内的多样化操作，证实了其通用性。