[论文解读] Learning Classifiers for Target Domain with Limited or No Labels

Pengkai Zhu, Hanxiao Wang+1 more|arXiv (Cornell University)|Jan 25, 2019

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

该论文提出了一种新颖的视觉属性编码方法，将图像表示为原型部件类型特征的低维概率向量，从而在标签有限或无标签的情况下，实现预训练模型对新领域的有效适应。通过冻结编码器并仅微调分类器（在少样本学习FSL或零样本学习ZSL中使用少量标注样本），该方法在零样本学习、少样本学习和领域自适应基准测试中均取得了最先进性能。

ABSTRACT

In computer vision applications, such as domain adaptation (DA), few shot learning (FSL) and zero-shot learning (ZSL), we encounter new objects and environments, for which insufficient examples exist to allow for training models from scratch, and methods that adapt existing models, trained on the presented training environment, to the new scenario are required. We propose a novel visual attribute encoding method that encodes each image as a low-dimensional probability vector composed of prototypical part-type probabilities. The prototypes are learnt to be representative of all training data. At test-time we utilize this encoding as an input to a classifier. At test-time we freeze the encoder and only learn/adapt the classifier component to limited annotated labels in FSL; new semantic attributes in ZSL. We conduct extensive experiments on benchmark datasets. Our method outperforms state-of-art methods trained for the specific contexts (ZSL, FSL, DA).

研究动机与目标

• 解决在新视觉领域中缺乏足够标注数据时训练模型的挑战。
• 实现在不从头训练的情况下，将预训练模型有效适应到目标领域。
• 提升在零样本学习（ZSL）、少样本学习（FSL）和领域自适应（DA）场景下的性能。
• 开发一种统一框架，利用原型部件类型特征实现鲁棒的分类器适应。

提出的方法

• 基于从训练数据中学习到的原型部件类型特征，将图像编码为低维概率向量。
• 原型被训练为代表所有训练数据，从而在共享特征空间中实现泛化。
• 在测试时，编码器被冻结，仅通过FSL中的少量标注样本或ZSL中的新语义属性微调分类器头。
• 该方法采用概率编码方案来建模部件类型组合，从而增强对未见类别或领域的泛化能力。
• 通过在编码特征上进行端到端微调来适应分类器，同时保留编码器的泛化能力。
• 该方法在ZSL、FSL和DA设置下的多个基准数据集上进行了评估。

实验结果

研究问题

• RQ1 统一的视觉属性编码方法是否能提升在零样本学习、少样本学习和领域自适应场景下的性能？
• RQ2 当仅有有限标注数据时，固定编码器配合微调分类器的效果如何？
• RQ3 原型部件类型特征能否作为低数据场景下下游分类任务中稳健且可泛化的表示？
• RQ4 所提出的编码方法是否在ZSL和FSL基准测试中均优于现有方法？

主要发现

• 所提出的方法在零样本学习、少样本学习和领域自适应的基准数据集上均达到了最先进性能。
• 该模型在所有三种设置中均优于现有方法，表明其在多样化低数据场景下具有强大的泛化能力。
• 使用固定编码器配合微调分类器带来了稳定提升，尤其在低样本和零样本场景下表现显著。
• 原型部件类型编码通过捕捉判别性且解耦的视觉属性，实现了对未见类别和领域的有效迁移。
• 该方法在多个数据集上表现出鲁棒性，表明其适用范围广泛，不仅限于特定任务设置。
• 消融实验确认，在低数据场景下，所提出的编码方案优于其他特征表示方法。