[论文解读] Deep Reinforcement Learning for Image Hashing

Yuxin Peng, Jian Zhang+1 more|arXiv (Cornell University)|Feb 7, 2018

Advanced Image and Video Retrieval Techniques参考文献 54被引用 7

一句话总结

该论文提出了一种用于图像哈希的深度强化学习方法（DRLIH），这是一种新颖的方法，将图像哈希建模为一个序列决策过程，使用循环神经网络（RNN）作为智能体，逐步学习二进制哈希码，并结合先前错误的反馈。该方法在三个基准数据集上实现了最先进性能，通过利用序列学习和动作分组策略，显著提升了哈希函数的相关性，平均MAP提升达0.026–0.206。

ABSTRACT

Deep hashing methods have received much attention recently, which achieve promising results by taking advantage of the strong representation power of deep networks. However, most existing deep hashing methods learn a whole set of hashing functions independently, while ignore the correlations between different hashing functions that can promote the retrieval accuracy greatly. Inspired by the sequential decision ability of deep reinforcement learning, we propose a new Deep Reinforcement Learning approach for Image Hashing (DRLIH). Our proposed DRLIH approach models the hashing learning problem as a sequential decision process, which learns each hashing function by correcting the errors imposed by previous ones and promotes retrieval accuracy. To the best of our knowledge, this is the first work to address hashing problem from deep reinforcement learning perspective. The main contributions of our proposed DRLIH approach can be summarized as follows: (1) We propose a deep reinforcement learning hashing network. In the proposed network, we utilize recurrent neural network (RNN) as agents to model the hashing functions, which take actions of projecting images into binary codes sequentially, so that the current hashing function learning can take previous hashing functions' error into account. (2) We propose a sequential learning strategy based on proposed DRLIH. We define the state as a tuple of internal features of RNN's hidden layers and image features, which can reflect history decisions made by the agents. We also propose an action group method to enhance the correlation of hash functions in the same group. Experiments on three widely-used datasets demonstrate the effectiveness of our proposed DRLIH approach.

研究动机与目标

• 为解决现有深度哈希方法独立学习哈希函数的局限性，忽略函数间相关性，从而影响检索准确率。
• 探索将深度强化学习（DRL）应用于图像哈希，通过建模哈希码生成的序列特性。
• 设计一种新型基于DRL的框架，使智能体（RNN）能够基于历史动作和反馈进行决策，从而提升整体检索性能。
• 验证序列学习与动作分组策略在增强哈希码相关性与提升检索准确率方面的有效性。

提出的方法

• 所提出的DRLIH框架使用基于RNN的策略网络作为智能体，按序逐位生成图像的二进制哈希码。
• 状态表示结合图像特征与RNN内部隐藏状态，以编码先前决策与错误的历史信息。
• 设计分层奖励函数以指导训练：一个用于即时比特级准确率，另一个用于整体排序性能。
• 引入动作分组机制，将多个比特同时生成，以增强同一组内比特之间的相关性。
• 采用策略梯度方法，通过端到端强化学习训练网络，以最大化累积奖励。
• 框架整合了特征表示网络与策略网络，策略网络通过序列决策学习将图像特征映射为二进制码。

实验结果

研究问题

• RQ1 能否通过将哈希函数学习建模为序列决策过程，有效应用深度强化学习于图像哈希？
• RQ2 与独立学习相比，结合先前哈希函数的历史决策与错误信息，是否能显著提升检索准确率？
• RQ3 动作分组对增强哈希函数间相关性及提升检索性能有何影响？
• RQ4 在排序准确率与跨数据集的鲁棒性方面，所提出的序列学习策略与独立学习相比表现如何？

主要发现

• 在CIFAR10数据集上，DRLIH实现了0.842的平均MAP，优于最佳基线（Baseline_ng）0.023，优于Baseline_noseq 0.043。
• 在NUS-WIDE数据集上，DRLIH实现了0.842的平均MAP，较最佳基线（Baseline_ng）和Baseline_noseq均提升了0.027。
• 在MIRFlickr数据集上，DRLIH实现了0.808的平均MAP，较HashNet*（0.782）高出0.026，较使用手工特征的SDH（0.602）高出0.206。
• 在所有三个数据集上，DRLIH在汉明半径2内的精度始终最高，证实了其卓越的检索质量。
• top-k结果的精度与精确率-召回率曲线表明，DRLIH在所有召回水平下均优于所有最先进方法。
• 消融实验确认，动作分组机制与序列学习策略均显著提升了性能，DRLIH在所有指标上均优于两种基线变体。