[论文解读] Co-domain Embedding using Deep Quadruplet Networks for Unseen Traffic Sign Recognition

Junsik Kim, Seokju Lee+2 more|arXiv (Cornell University)|Dec 5, 2017

Infrastructure Maintenance and Monitoring被引用 8

一句话总结

本文提出了一种用于未见交通标志识别的深度四元组网络，通过学习一个共域嵌入空间，将合成模板与真实图像对齐，利用四元组损失增强特征泛化能力。该方法在少样本识别任务中表现达到最先进水平，尤其在未见类别上，相较于基于三元组的模型和基线模型，在三个数据集上的已见与未见场景中均显著提升性能。

ABSTRACT

Recent advances in visual recognition show overarching success by virtue of large amounts of supervised data. However,the acquisition of a large supervised dataset is often challenging. This is also true for intelligent transportation applications, i.e., traffic sign recognition. For example, a model trained with data of one country may not be easily generalized to another country without much data. We propose a novel feature embedding scheme for unseen class classification when the representative class template is given. Traffic signs, unlike other objects, have official images. We perform co-domain embedding using a quadruple relationship from real and synthetic domains. Our quadruplet network fully utilizes the explicit pairwise similarity relationships among samples from different domains. We validate our method on three datasets with two experiments involving one-shot classification and feature generalization. The results show that the proposed method outperforms competing approaches on both seen and unseen classes.

研究动机与目标

• 解决在真实标注数据稀缺的新地理领域中识别未见交通标志的挑战。
• 通过利用官方提供的合成模板作为每类的代表性锚点，实现单样本分类。
• 通过四元组学习实现真实与合成域的共嵌入，提升低数据场景下的泛化能力。
• 减少对大规模标注数据集的依赖，并避免为新环境重新训练的高昂成本。
• 开发一种简单但高效的深度度量学习框架，使其在未见类别上具有良好泛化能力。

提出的方法

• 该方法采用深度神经网络，学习两个非线性映射：将真实图像和合成模板映射到共享度量空间。
• 使用四元组损失函数，对四组样本施加相对相似性约束：一个真实查询样本、一个来自同一类的真实正样本、一个来自同一类的合成模板正样本，以及一个来自不同类别的合成模板负样本。
• 四元组损失的设计目标是使真实样本更接近其类别特定的合成模板，同时远离负样本模板，从而增强判别能力。
• 模型通过带边缘的合页损失端到端训练，受大边缘最近邻学习的启发，以提升泛化能力。
• 通过在共享嵌入空间中使用学习到的合成模板锚点进行最近邻搜索实现分类。
• 该方法通过显式建模真实与合成域之间的关系，实现共嵌入，从而支持域自适应。

实验结果

研究问题

• RQ1 当每类仅有一个真实图像时，深度度量学习框架是否能有效泛化到未见的交通标志类别？
• RQ2 在存在域偏移的少样本交通标志识别中，基于四元组的学习方法相较于基于三元组或成对方法表现如何？
• RQ3 在低数据场景下，合成模板与真实图像之间的共域嵌入是否能提升特征泛化能力？
• RQ4 使用具有代表性的合成模板作为锚点，是否能带来优于仅在有限真实数据上训练的模型的性能？
• RQ5 四元组损失对模型在已见与未见类别上的鲁棒性与泛化能力有何影响？

主要发现

• 所提出的基于四元组的方法在未见类别识别设置中优于所有对比方法，在所有数据集上均达到最低错误率。
• 在GTSRB-all数据集上，该方法在每类10个样本时达到2.87%的错误率，显著优于第二名方法（Triplet-DA，5.05%）。
• 在TT100k-c数据集上，该方法在每类20个样本时达到4.33%的错误率，尽管IdsiaNet在已见类别上表现强劲，该方法仍优于其在未见场景下的表现。
• 当训练数据限制为每类10个样本时，该模型展现出更优的泛化能力，性能比基线模型高出1.5%-2.5%。
• 使用合成模板作为锚点具有正则化效果，可防止对已见类别的过拟合，提升零样本泛化能力。
• 由于提供了更丰富的成对关系，四元组方法在训练样本较少时比基于三元组的方法泛化能力更强。