[论文解读] Fast Training of Triplet-based Deep Binary Embedding Networks

Bohan Zhuang, Guosheng Lin+2 more|arXiv (Cornell University)|Mar 9, 2016

Advanced Image and Video Retrieval Techniques参考文献 37被引用 6

一句话总结

本文提出一种两阶段框架，通过将二值码推理与深度神经网络训练解耦，加速基于三元组的深度二值哈希。它将高阶三元组损失公式化为可通过图割法求解的二值二次规划问题，随后在推断出的码上增量式训练深度卷积神经网络（CNN），在CASIA和IJB-A等基准数据集上实现与最先进方法相当或更优的检索准确率的同时，将训练速度提升至先前方法的100倍。

ABSTRACT

In this paper, we aim to learn a mapping (or embedding) from images to a compact binary space in which Hamming distances correspond to a ranking measure for the image retrieval task. We make use of a triplet loss because this has been shown to be most effective for ranking problems. However, training in previous works can be prohibitively expensive due to the fact that optimization is directly performed on the triplet space, where the number of possible triplets for training is cubic in the number of training examples. To address this issue, we propose to formulate high-order binary codes learning as a multi-label classification problem by explicitly separating learning into two interleaved stages. To solve the first stage, we design a large-scale high-order binary codes inference algorithm to reduce the high-order objective to a standard binary quadratic problem such that graph cuts can be used to efficiently infer the binary code which serve as the label of each training datum. In the second stage we propose to map the original image to compact binary codes via carefully designed deep convolutional neural networks (CNNs) and the hashing function fitting can be solved by training binary CNN classifiers. An incremental/interleaved optimization strategy is proffered to ensure that these two steps are interactive with each other during training for better accuracy. We conduct experiments on several benchmark datasets, which demonstrate both improved training time (by as much as two orders of magnitude) as well as producing state-of-the-art hashing for various retrieval tasks.

研究动机与目标

• 为解决基于三元组的深度二值哈希训练成本过高这一问题，其训练开销随训练数据规模呈立方级增长。
• 实现在不牺牲排序性能的前提下，高效训练大规模深度哈希函数。
• 开发一种可扩展的框架，将二值码推理与深度特征学习分离，以提升计算效率。
• 在将训练时间降低数个数量级的同时，保持高检索准确率。
• 证明增量优化在提升码质量与模型性能方面的有效性。

提出的方法

• 将基于三元组的排序损失公式化为高阶二值推理问题，将其转化为可高效优化的二阶二值二次规划（BQP）。
• 采用带块坐标下降的图割法求解BQP，实现从三元组约束中可扩展地推断二值码。
• 设计一个深度卷积神经网络（CNN），将图像映射为紧凑的二值码，通过在推断码上进行二分类进行训练。
• 采用增量式、交错优化策略，交互式地更新二值码与深度哈希函数，以提升彼此性能。
• 使用VGG-16进行有监督预训练以初始化特征，随后通过所提出的两阶段框架进行微调。
• 在人脸检索实验中应用数据增强（水平翻转）和主成分分析（PCA）以提升鲁棒性与降维。

实验结果

研究问题

• RQ1 高阶基于三元组的损失函数能否在大规模二值码学习中实现高效优化？
• RQ2 将二值码推理与深度网络训练解耦，是否能显著降低训练时间而不损害检索准确率？
• RQ3 在码推理与深度特征学习之间采用增量优化，能否提升码质量与模型性能？
• RQ4 在大规模基准数据集上，所提方法与最先进哈希方法相比，在速度与检索准确率方面表现如何？
• RQ5 该框架是否能在仅使用128位二值码的情况下，实现与单个深度模型相当的性能？

主要发现

• 所提方法相比先前基于三元组的方法（如FaceNet）训练速度最高提升100倍，将训练时间从数月缩短至数天。
• 在IJB-A人脸检索基准上，该方法在128位下达到0.645±0.058的CMC@1准确率，优于现有最先进方法。
• 使用128位码时，该方法在LFW数据集上达到0.889±0.020的平均精度均值，展现出优异的检索性能。
• 增量学习中更小的组长度可带来更高的搜索准确率，证实了交错优化策略的有效性。
• 仅使用预训练的VGG-16模型在LFW验证任务上即达到97.03%±0.98%的准确率，表明其在哈希前已具备强大基线性能。
• 该框架仅依赖单个深度模型即可实现仅128位二值码的快速人脸检索，兼具高速度与低存储需求。