[论文解读] Active Transfer Learning with Zero-Shot Priors: Reusing Past Datasets for Future Tasks

Efstratios Gavves, Thomas Mensink+3 more|arXiv (Cornell University)|Oct 6, 2015

Machine Learning and Algorithms参考文献 28被引用 9

一句话总结

本文提出了一种主动迁移学习框架，通过利用零样本分类器作为先验，重用以往无关的训练数据，以加速未来图像分类任务。通过从对偶SVM公式推导出最优采样条件——最大冲突与标签相等——该方法实现了高效、人工标注成本低的学习，仅使用MSCOCO和ImageNet数据集总训练数据的5–10%即可达到接近全量的mAP。

ABSTRACT

How can we reuse existing knowledge, in the form of available datasets, when solving a new and apparently unrelated target task from a set of unlabeled data? In this work we make a first contribution to answer this question in the context of image classification. We frame this quest as an active learning problem and use zero-shot classifiers to guide the learning process by linking the new task to the existing classifiers. By revisiting the dual formulation of adaptive SVM, we reveal two basic conditions to choose greedily only the most relevant samples to be annotated. On this basis we propose an effective active learning algorithm which learns the best possible target classification model with minimum human labeling effort. Extensive experiments on two challenging datasets show the value of our approach compared to the state-of-the-art active learning methodologies, as well as its potential to reuse past datasets with minimal effort for future tasks.

研究动机与目标

• 解决在目标类别无任何初始标注数据的情况下学习新图像类别的问题，尤其当目标类别无先前标注时。
• 通过重用过去数据集中语义无关的现有标注，克服单次使用数据集的低效性，以支持未来学习任务。
• 开发一种实用的主动学习策略，通过智能选择最具信息量的样本，最大限度减少人工标注工作量。
• 证明即使无关的过往数据集，也能通过零样本分类模型为主动学习提供有价值的先验信息。
• 基于SVM对偶性，建立使用零样本先验时最优查询采样理论条件。

提出的方法

• 将零样本分类器（基于共现统计或文本嵌入训练）重新用作先验，以估计特征空间中未标注数据的标签分布。
• 在SVM的对偶公式框架下构建主动学习问题，识别出最优采样所需的两个关键条件：最大冲突与标签相等。
• 利用最大冲突条件，选择特征空间中靠近决策边界的样本，以最大化模型预期变化。
• 应用标签相等条件，平衡正负样本的标签估计，防止对多数类别的偏差。
• 将这两个条件整合进一种实用的主动学习算法（MCLE）中，迭代查询最具信息量的样本，同时最小化人工标注。
• 在两个大规模数据集（MSCOCO和ImageNet）上训练并评估该方法，与具有/不具有先验的最先进主动学习基线方法进行比较。

实验结果

研究问题

• RQ1 在无初始标注数据的情况下，能否有效重用无关的过往数据集，以加速对新型图像类别的主动学习？
• RQ2 当先验知识仅限于零样本预测时，对偶SVM公式中的哪些理论条件可实现最优样本选择？
• RQ3 与需要至少一个正样本和一个负样本初始化的常规主动学习方法相比，使用零样本先验的主动学习性能如何？
• RQ4 来自外部数据集的零样本先验（如用MSCOCO数据集的COSTA先验用于ImageNet）在多大程度上优于来自同一数据集的先验或无先验的情况？
• RQ5 当目标类别与源数据中已知类别存在部分重叠时，或在标签不平衡情况下，该方法是否仍具鲁棒性？

主要发现

• MCLE采样结合零样本先验优于所有基线方法，尤其在主动学习初期（模型不确定性最高时）表现更优。
• 在Small MSCOCO数据集上，MCLE结合零样本先验仅使用300个标注样本即可达到全量mAP——约占总训练集的5–10%。
• 来自外部数据集的先验（如在MSCOCO上使用COSTA先验）性能与来自同一数据集的先验相当，表明该方法对先验质量具有强鲁棒性。
• 即使零样本先验质量较差，MCLE采样仍比最先进方法学习更快、更准确，表明其具备强大的泛化能力与稳定性。
• 当部分目标类别在源与目标数据集间存在重叠时（如MSCOCO与HSUN间有10个共用标签），该方法仍具有效性，表明其对部分重叠具有鲁棒性。
• 全mAP可在300–500个样本内达到，表明该方法相比全监督训练可将标注成本降低高达90%。