[論文レビュー] Deep Reinforcement Learning for Image Hashing

Yuxin Peng, Jian Zhang+1 more|arXiv (Cornell University)|Feb 7, 2018

Advanced Image and Video Retrieval Techniques参考文献 54被引用数 7

ひとこと要約

本稿では、画像ハッシュ化を段階的決定問題としてモデル化する新規手法DRLIH（Deep Reinforcement Learning for Image Hashing）を提案する。この手法は、再帰的ニューラルネットワーク（RNN）をエージェントとして用い、過去の誤差からのフィードバックを組み込みながら、段階的にバイナリーハッシュコードを学習する。このアプローチにより、CIFAR10、NUS-WIDE、MIRFlickrの3つのベンチマークデータセットで最先端の性能を達成し、順序学習とアクショングループ化を活用することでハッシュ関数の相関性が向上し、平均MAPは先行手法比0.026～0.206の向上を達成した。

ABSTRACT

Deep hashing methods have received much attention recently, which achieve promising results by taking advantage of the strong representation power of deep networks. However, most existing deep hashing methods learn a whole set of hashing functions independently, while ignore the correlations between different hashing functions that can promote the retrieval accuracy greatly. Inspired by the sequential decision ability of deep reinforcement learning, we propose a new Deep Reinforcement Learning approach for Image Hashing (DRLIH). Our proposed DRLIH approach models the hashing learning problem as a sequential decision process, which learns each hashing function by correcting the errors imposed by previous ones and promotes retrieval accuracy. To the best of our knowledge, this is the first work to address hashing problem from deep reinforcement learning perspective. The main contributions of our proposed DRLIH approach can be summarized as follows: (1) We propose a deep reinforcement learning hashing network. In the proposed network, we utilize recurrent neural network (RNN) as agents to model the hashing functions, which take actions of projecting images into binary codes sequentially, so that the current hashing function learning can take previous hashing functions' error into account. (2) We propose a sequential learning strategy based on proposed DRLIH. We define the state as a tuple of internal features of RNN's hidden layers and image features, which can reflect history decisions made by the agents. We also propose an action group method to enhance the correlation of hash functions in the same group. Experiments on three widely-used datasets demonstrate the effectiveness of our proposed DRLIH approach.

研究の動機と目的

• 従来の深層ハッシング手法が独立してハッシュ関数を学習するため、相互の関数相関を無視しており、検索精度の向上が制限されているという問題に対処すること。
• ハッシュコード生成の順序的性質をモデル化することで、深層強化学習（DRL）を画像ハッシュ化に応用することの可能性を検討すること。
• エージェント（RNN）が歴史的な行動とフィードバックに基づいて意思決定できる、新規なDRLベースのフレームワークを設計し、全体の検索性能を向上させること。
• 順序学習とアクショングループ化戦略の有効性を検証し、ハッシュコードの関連性と検索精度の向上に寄与するかを検証すること。

提案手法

• 提案されたDRLIHフレームワークは、RNNに基づく方策ネットワークを用い、エージェントとして画像のバイナリーハッシュコードを1ビットずつ段階的に生成する。
• 状態表現は、画像特徴と内部RNN隠れ状態を組み合わせ、過去の意思決定と誤差の履歴を符号化する。
• 訓練を導くために階層的報酬関数を設計：1つは即時のビット単位の正確性を、もう1つは全体のランク付け性能を評価する。
• 複数のビットを一度に生成するアクショングループメカニズムを導入し、同じグループ内のビット間の相関性を強化する。
• 累積報酬を最大化するように、方策勾配法を用いてエンドツーエンドでネットワークを訓練する。
• 特徴表現ネットワークと方策ネットワークを統合し、方策ネットワークが画像特徴を段階的決定によってバイナリーコードにマッピングするように学習する。

実験結果

リサーチクエスチョン

• RQ1 ハッシュ関数の学習を段階的決定プロセスとしてモデル化することで、深層強化学習を画像ハッシュ化に効果的に応用できるか？
• RQ2 過去のハッシュ関数からの歴史的行動と誤差を組み込むことで、独立学習と比較して検索精度がどのように向上するか？
• RQ3 アクショングループ化がハッシュ関数間の相関性を強化し、検索性能を向上させるにあたり、どのような影響を及ぼすか？
• RQ4 独立学習と比較して、提案された順序学習戦略は、データセット全体にわたるランク付け精度と頑健性において、どのように差をつけるか？

主な発見

• CIFAR10データセットでは、DRLIHは平均MAP 0.842を達成し、最良のベースライン（Baseline_ng）を0.023、Baseline_noseqを0.043上回った。
• NUS-WIDEデータセットでは、DRLIHは平均MAP 0.842を達成し、最良のベースライン（Baseline_ng）とBaseline_noseqの両方を0.027上回った。
• MIRFlickrデータセットでは、DRLIHは平均MAP 0.808を達成し、HashNet*（0.782）を0.026上回り、手作業特徴を用いたSDH（0.602）を0.206上回った。
• ハミング半径2内の精度は、3つのデータセットすべてでDRLIHが最も高く、優れた検索品質を確認した。
• トップ-k結果の精度と精度-再現率曲線から、DRLIHは全再現レベルで、すべての最先端手法を上回った。
• アブレーションスタディにより、アクショングループメカニズムと順序学習戦略の両方が性能向上に顕著に寄与することが確認され、DRLIHは全指標で両ベースライン変種を上回った。