[论文解读] Efficient Training of Very Deep Neural Networks for Supervised Hashing

Ziming Zhang, Yuting Chen+1 more|arXiv (Cornell University)|Nov 14, 2015

Advanced Image and Video Retrieval Techniques参考文献 54被引用 7

一句话总结

该论文提出了一种新型的基于ADMM的训练算法——极深监督哈希（VDSH），可高效训练非常深的神经网络（最多64层，每层1024个神经元）用于监督哈希。与反向传播不同，VDSH通过引入辅助变量将训练过程分解为独立的逐层更新，实现线性计算复杂度，并在单张GPU上约3小时内完成收敛，优于MNIST、CIFAR-10和NUS-WIDE上的最先进方法。

ABSTRACT

In this paper, we propose training very deep neural networks (DNNs) for supervised learning of hash codes. Existing methods in this context train relatively "shallow" networks limited by the issues arising in back propagation (e.e. vanishing gradients) as well as computational efficiency. We propose a novel and efficient training algorithm inspired by alternating direction method of multipliers (ADMM) that overcomes some of these limitations. Our method decomposes the training process into independent layer-wise local updates through auxiliary variables. Empirically we observe that our training algorithm always converges and its computational complexity is linearly proportional to the number of edges in the networks. Empirically we manage to train DNNs with 64 hidden layers and 1024 nodes per layer for supervised hashing in about 3 hours using a single GPU. Our proposed very deep supervised hashing (VDSH) method significantly outperforms the state-of-the-art on several benchmark datasets.

研究动机与目标

• 为克服训练极深网络进行监督哈希时的梯度消失和计算低效问题。
• 实现在单张GPU上训练高达64层隐藏层、每层1024个神经元的深层网络。
• 开发一种计算高效且能稳定收敛的训练算法，即使在极深架构下亦可实现。
• 通过学习紧凑且保持相似性的表征来提升哈希码质量，从而增强检索性能。
• 证明VDSH在基准数据集上优于现有监督哈希方法。

提出的方法

• 该方法将VDSH的训练表述为ℓ₂-正则化的最小二乘问题，以最小化编码特征与标签向量之间的差异。
• 引入辅助变量来表示每一层隐藏层的输出，从而实现对深层网络特征的递归建模。
• 使用增广拉格朗日函数将等式约束融入优化问题，允许分解为局部的逐层更新。
• 引入额外的辅助变量以存储相邻层之间的权重，从而实现独立且高效的局部优化。
• 基于ADMM的算法交替更新网络参数、辅助变量和对偶变量，确保收敛性。
• 通过四舍五入最终隐藏层的输出生成哈希码，以在汉明空间中保持相似性。

实验结果

研究问题

• RQ1 能否设计一种训练算法，以高效方式训练极深神经网络进行监督哈希，从而克服梯度消失和计算瓶颈？
• RQ2 基于ADMM的方法是否能实现极深网络哈希训练的稳定且快速收敛？
• RQ3 VDSH能否在使用极深架构的情况下，在基准数据集上实现最先进检索性能？
• RQ4 与反向传播相比，VDSH的计算复杂度如何随网络深度和宽度变化？
• RQ5 VDSH是否能生成比现有方法更紧凑且更易分离的哈希码簇？

主要发现

• VDSH在单张GTX TITAN GPU上约3小时内成功训练了一个64层、每层1024个神经元的深度神经网络用于监督哈希。
• 该训练算法收敛平稳，计算复杂度与网络中的边数成线性关系。
• 在包含19万样本的NUS-WIDE数据集上，使用32层、每层128个神经元的网络，VDSH实现每样本31.4毫秒的检索速度。
• 在ILSVRC2012数据集上，使用64位哈希码且汉明半径为2时，VDSH达到7.73%的精确率和4.82%的召回率，显著优于SDH（2.67%精确率）和FastHash（0.29%精确率）。
• 可视化结果表明，与SDH相比，VDSH在汉明空间中生成了更清晰、更紧凑的簇，表明其具有更好的相似性保持能力。
• VDSH在不同汉明半径下均保持优异性能，表现出强鲁棒性和稳定性，而SDH和FastHash在较小半径下性能显著下降。