[论文解读] Learning to Transfer Privileged Information

Viktoriia Sharmanska, Novi Quadrianto+1 more|arXiv (Cornell University)|Oct 1, 2014

Domain Adaptation and Few-Shot Learning参考文献 47被引用 18

一句话总结

本文提出了一种统一框架，用于在计算机视觉中利用特权信息（LUPI）进行学习，通过属性、边界框和图像标签提升目标分类性能。提出了一种新颖的最大间隔方法——Margin Transfer，该方法将样本易难程度的知识从特权空间转移到原始数据空间，相较于标准SVM和SVM+，在二分类与多分类设置下均实现了更高的准确率。

ABSTRACT

We introduce a learning framework called learning using privileged information (LUPI) to the computer vision field. We focus on the prototypical computer vision problem of teaching computers to recognize objects in images. We want the computers to be able to learn faster at the expense of providing extra information during training time. As additional information about the image data, we look at several scenarios that have been studied in computer vision before: attributes, bounding boxes and image tags. The information is privileged as it is available at training time but not at test time. We explore two maximum-margin techniques that are able to make use of this additional source of information, for binary and multiclass object classification. We interpret these methods as learning easiness and hardness of the objects in the privileged space and then transferring this knowledge to train a better classifier in the original space. We provide a thorough analysis and comparison of information transfer from privileged to the original data spaces for both LUPI methods. Our experiments show that incorporating privileged information can improve the classification accuracy. Finally, we conduct user studies to understand which samples are easy and which are hard for human learning, and explore how this information is related to easy and hard samples when learning a classifier.

研究动机与目标

• 将LUPI框架扩展至计算机视觉领域，特别是针对具有多样化特权信息模态的目标分类任务。
• 在单一学习框架下统一处理不同类型的特权信息——属性、边界框和图像标签。
• 探究特权信息是否以及如何通过识别训练样本的易难程度来引导分类器学习。
• 在多分类分类中评估LUPI，首次在此背景下将LUPI扩展至二分类之外的场景。
• 比较机器学习得到的样本易难程度与人工标注的易难程度，以理解学习过程中难/易样本的本质特征。

提出的方法

• 将LUPI形式化为一种方法，用于将样本易难程度的知识从特权空间转移到原始数据空间。
• 提出Margin Transfer，一种新型的最大间隔算法，该算法适配Rank Transfer用于分类任务，利用特权数据对训练样本进行加权。
• 采用两阶段学习流程：首先在特权空间中识别易难样本；其次将此知识转移至原始空间以训练更优的分类器。
• 对重加权后的训练数据应用标准SVM求解器，从而实现与现有优化工具的兼容性。
• 使用Kendall tau等级相关系数比较人工标注、特权空间和原始数据空间中易难样本的排序一致性。
• 采用一对多策略将LUPI扩展至多分类分类，使其能够应用于更复杂的视觉识别任务。

实验结果

研究问题

• RQ1 在统一框架下，诸如属性、边界框和图像标签等特权信息是否能持续提升目标分类性能？
• RQ2 在二分类与多分类设置下，所提出的Margin Transfer方法相较于SVM+在性能与泛化能力方面表现如何？
• RQ3 机器识别的特权空间中易难样本与人工标注的易难程度之间的相关性有多大？这种相关性如何影响模型性能？
• RQ4 特权空间中的样本易难程度与原始数据空间中分类器性能之间存在何种关系？
• RQ5 在何种场景下，人工标注的特权信息优于自动提取的特权信号（如属性或边界框）？

主要发现

• Margin Transfer在性能上与SVM+相当，同时更易于适配标准SVM求解器，因此在实际部署中更具实用性。
• 在二分类任务中，引入特权信息（如属性、边界框、标签）能持续提升准确率，最高较基线SVM提升0.7%。
• 在多分类任务中，采用一对多策略的所提LUPI框架成功实现泛化，首次将LUPI应用于二分类以外的任务。
• 人工标注的易难评分与原始数据空间中的排序相关性更强，高于与特权空间排序的相关性，表明人类感知更贴近最终分类器的行为。
• 在Giant Panda vs. Leopard等类别中，人工标注的特权数据优于基于属性的特权信号，表明在特定类别中人类感知可作为更有效的信号。
• 当人工标注与模型识别的难易样本之间相关性较低时（如Rat vs. Persian Cat或Seal vs. Hippopotamus），性能表现较差，表明当特权空间与原始数据空间在样本难度上出现偏差时，会发生负迁移现象。