[论文解读] Cross Domain Knowledge Learning with Dual-branch Adversarial Network for Vehicle Re-identification

Jinjia Peng, Huibing Wang+1 more|arXiv (Cornell University)|Apr 30, 2019

Advanced Neural Network Applications参考文献 34被引用 4

一句话总结

本文提出DAVR，一种用于车辆重识别的域自适应框架，采用双分支对抗网络（DAN）将未标注目标域图像的风格迁移至已标注源域图像，同时保留身份信息。生成的图像随后用于训练基于注意力的特征学习网络（ATTNet），在VeRi-776和VehicleID数据集上显著提升跨域重识别性能，rank-1准确率最高提升9.05%。

ABSTRACT

The widespread popularization of vehicles has facilitated all people's life during the last decades. However, the emergence of a large number of vehicles poses the critical but challenging problem of vehicle re-identification (reID). Till now, for most vehicle reID algorithms, both the training and testing processes are conducted on the same annotated datasets under supervision. However, even a well-trained model will still cause fateful performance drop due to the severe domain bias between the trained dataset and the real-world scenes. To address this problem, this paper proposes a domain adaptation framework for vehicle reID (DAVR), which narrows the cross-domain bias by fully exploiting the labeled data from the source domain to adapt the target domain. DAVR develops an image-to-image translation network named Dual-branch Adversarial Network (DAN), which could promote the images from the source domain (well-labeled) to learn the style of target domain (unlabeled) without any annotation and preserve identity information from source domain. Then the generated images are employed to train the vehicle reID model by a proposed attention-based feature learning model with more reasonable styles. Through the proposed framework, the well-trained reID model has better domain adaptation ability for various scenes in real-world situations. Comprehensive experimental results have demonstrated that our proposed DAVR can achieve excellent performances on both VehicleID dataset and VeRi-776 dataset.

研究动机与目标

• 解决因训练场景与真实测试场景之间存在域偏差而导致的车辆重识别性能严重下降问题。
• 克服监督式重识别模型因风格与外观差异而在未见域上失效的局限性。
• 提出一种仅利用已标注源域数据和未标注目标域数据、无需额外标注的无监督域自适应方法。
• 通过生成保留身份信息但适应目标域特征的真实感风格迁移图像，提升模型泛化能力。
• 设计基于注意力的特征学习模块，以增强在合成域自适应图像上训练时的重识别性能。

提出的方法

• 提出一种双分支对抗网络（DAN），通过两个独立分支分离内容与风格学习：一个用于内容编码（源域），一个用于风格编码（目标域）。
• 采用对抗损失和循环一致性损失，端到端训练DAN，以生成具有目标域风格的源域图像，同时保留身份信息。
• 通过在图像翻译过程中强制执行内容重建和身份损失，以保留身份信息。
• 引入基于注意力的特征学习网络（ATTNet），通过聚焦于具有判别性的车辆部件来增强特征表示。
• 利用DAN生成的图像对重识别模型进行微调，使模型能更好地泛化到未见的目标域。
• 将图像翻译与特征学习模块整合为一个端到端的域自适应框架（DAVR），用于跨域车辆重识别。

实验结果

研究问题

• RQ1 无监督图像到图像翻译网络能否在不损失身份信息的前提下，有效将未标注目标域图像的视觉风格迁移至已标注源域图像？
• RQ2 所提出的双分支对抗网络（DAN）在车辆重识别中，相较于现有基于GAN的方法，在保留身份信息的同时迁移域风格方面表现如何？
• RQ3 当在域迁移图像上训练时，基于注意力的特征学习模块（ATTNet）在多大程度上提升了重识别性能？
• RQ4 所提出的DAVR框架是否在VeRi-776和VehicleID等跨域车辆重识别基准上达到最先进性能？
• RQ5 该框架能否在光照、视角和背景多变的真实世界场景中实现良好泛化？

主要发现

• 在使用ATTNet时，DAVR在VehicleID上训练并在VeRi-776上测试，mAP提升4.35%，优于基线方法。
• 在VeRi-776上，当在VeRi-776上训练并在VehicleID上测试时，该方法的rank-1准确率最高提升9.05%。
• CMC曲线显示，在两个数据集上所有测试集规模（800至3200辆）下均表现出一致且显著的性能提升。
• t-SNE可视化结果表明，DAVR学习到的特征具有更好的类别可分性以及更低的类内方差，优于基线模型。
• 图11中的检索结果表明，该方法对视角和光照变化具有鲁棒性，即使在挑战性条件下也能成功检索出正确匹配。
• 消融实验表明，图像翻译（DAN）和特征学习（ATTNet）两个组件对整体性能提升均至关重要。