[论文解读] Learning Attributes Equals Multi-Source Domain Generalization

Chuang Gan, Tianbao Yang+1 more|arXiv (Cornell University)|May 3, 2016

Domain Adaptation and Few-Shot Learning参考文献 67被引用 33

一句话总结

本文提出了一种新颖的属性检测方法，通过将属性检测建模为多源域泛化问题，其中每个物体类别被视为一个域。通过将中心化核对齐（centered kernel alignment）与无监督域不变成分分析（UDICA）相结合，该方法学习到类别无关且属性判别性强的特征，从而显著提升在 AWA、CUB 和 UCF101 数据集上的零样本学习与多属性图像检索性能。

ABSTRACT

Attributes possess appealing properties and benefit many computer vision problems, such as object recognition, learning with humans in the loop, and image retrieval. Whereas the existing work mainly pursues utilizing attributes for various computer vision problems, we contend that the most basic problem---how to accurately and robustly detect attributes from images---has been left under explored. Especially, the existing work rarely explicitly tackles the need that attribute detectors should generalize well across different categories, including those previously unseen. Noting that this is analogous to the objective of multi-source domain generalization, if we treat each category as a domain, we provide a novel perspective to attribute detection and propose to gear the techniques in multi-source domain generalization for the purpose of learning cross-category generalizable attribute detectors. We validate our understanding and approach with extensive experiments on four challenging datasets and three different problems.

研究动机与目标

• 为解决现有计算机视觉方法中缺乏鲁棒且跨类别可泛化的属性检测器的问题。
• 将属性检测重新建模为多源域泛化问题，将每个物体类别视为一个独立的域。
• 开发一种打破物体类别边界的特征表示，以增强对未见类别的泛化能力。
• 通过更优的属性检测提升下游任务（如零样本识别与多属性图像检索）的性能。
• 在多样化的数据集与任务上验证所提方法的有效性。

提出的方法

• 将每个物体类别视为一个域，并将属性检测重新建模为多源域泛化问题。
• 以无监督域不变成分分析（UDICA）作为核心框架，以最小化域（类别）分布差异。
• 引入中心化核对齐作为 UDICA 中逆协方差运算的稳定且高效的替代方法，并融入属性标注信息。
• 学习一个核投影，从原始特征中提炼出类别无关与属性判别性信号。
• 输出与标准分类器（如 SVM）兼容的变换后特征向量，以训练鲁棒的属性检测器。
• 将学习到的表示应用于下游任务，包括零样本学习与多属性图像检索。

实验结果

研究问题

• RQ1 属性检测能否被有效建模为多源域泛化问题，以提升跨类别泛化能力？
• RQ2 将中心化核对齐整合进 UDICA 如何增强所学习特征在属性检测中的判别能力？
• RQ3 与基线方法相比，所提方法在未见类别上的属性检测准确率提升程度如何？
• RQ4 更优的属性检测是否能在下游任务（如零样本识别与多属性图像检索）中带来可测量的性能增益？
• RQ5 该方法在多样化数据集与属性类型（包括平凡或视觉上模糊的属性）上的表现如何？

主要发现

• 所提出的 KDICA 方法在 DAP 和 UDICA 基础上显著提升了属性检测准确率，尤其在标准方法难以检测的复杂属性上表现突出。
• 在 AWA 数据集上，KDICA 使用后融合策略在单属性图像检索中达到 84.4% 的 AUC，优于 VGG（78.9%）与 UDICA（83.9%）。
• 在零样本学习任务中，所提方法在 AWA、CUB 与 UCF101 上均优于当前最先进系统，其中在 AWA 上的性能提升最为显著。
• 与 UDICA 相比，KDICA 在零样本学习中的性能增益大于在属性检测本身中的增益，表明更优的属性检测器能显著放大下游任务的性能提升。
• 在 TagProp 上，属性对与三元组查询的性能提升较小，但单属性查询的性能显著改善，表明该方法对简单查询更具优势。
• 像 'yellow' 和 'swim' 这类属性的改进有限，前者因基线准确率已较高，后者则因类别间视觉相似性高所致。