[论文解读] Cross-domain attribute representation based on convolutional neural network

Guohui Zhang, Gaoyuan Liang+3 more|arXiv (Cornell University)|May 17, 2018

Video Surveillance and Tracking Methods参考文献 26被引用 5

一句话总结

本文提出了一种基于共享卷积神经网络（CNN）的跨域属性表征框架，用于联合建模不同域中的实例与属性特征。通过学习域无关与域特定的CNN表征并将其与属性融合，该模型在基准数据集上显著提升了零样本和少样本分类性能，展示了在低资源目标域中的优越泛化能力。

ABSTRACT

In the problem of domain transfer learning, we learn a model for the predic-tion in a target domain from the data of both some source domains and the target domain, where the target domain is in lack of labels while the source domain has sufficient labels. Besides the instances of the data, recently the attributes of data shared across domains are also explored and proven to be very helpful to leverage the information of different domains. In this paper, we propose a novel learning framework for domain-transfer learning based on both instances and attributes. We proposed to embed the attributes of dif-ferent domains by a shared convolutional neural network (CNN), learn a domain-independent CNN model to represent the information shared by dif-ferent domains by matching across domains, and a domain-specific CNN model to represent the information of each domain. The concatenation of the three CNN model outputs is used to predict the class label. An iterative algo-rithm based on gradient descent method is developed to learn the parameters of the model. The experiments over benchmark datasets show the advantage of the proposed model.

研究动机与目标

• 解决迁移学习中目标域缺乏标注数据的域移位问题。
• 利用跨域共享属性以提升模型泛化能力。
• 开发一种统一的深度学习框架，用于在跨域设置下联合建模实例与属性。
• 在保留域不变与域特定表征的同时，减少域特定偏差。
• 通过属性监督，在低资源目标域中实现更优的分类性能。

提出的方法

• 训练一个共享CNN，将来自多个域的属性嵌入到同一特征空间中。
• 学习域无关与域特定的CNN分支，以建模共享与独特的域特征。
• 将共享CNN、域无关CNN与域特定CNN的输出进行拼接，用于最终分类。
• 使用迭代梯度下降算法，联合优化所有三个CNN组件的参数。
• 使用有标签的源域数据和无标签的目标域数据，结合属性监督，端到端训练模型。
• 通过对比学习或特征匹配，对齐跨域的属性嵌入，以增强跨域迁移能力。

实验结果

研究问题

• RQ1 联合建模实例与属性特征是否能提升迁移学习中的跨域泛化能力？
• RQ2 在低资源目标域中，跨域共享属性的引入对性能有何影响？
• RQ3 域无关与域特定表征在跨域属性学习中的贡献分别是什么？
• RQ4 统一的CNN框架能否有效平衡共享与域特定特征的学习？
• RQ5 所提出方法与现有零样本和少样本学习基线相比表现如何？

主要发现

• 所提模型在基准跨域数据集上达到最先进性能，在零样本与少样本分类任务中优于现有方法。
• 共享属性表征的整合显著提升了对无标签目标域的泛化能力。
• 域无关CNN组件学习到稳健且可迁移的特征，具备良好的跨域泛化能力。
• 域特定CNN分支有效捕捉了各域的独特特征，提升了局部分类准确率。
• 基于梯度下降的迭代训练过程收敛稳定，并改善了跨域特征对齐。
• 该模型在存在较大域移的数据集中表现出强大的鲁棒性与可迁移性。