[論文レビュー] Query-adaptive Image Retrieval by Deep Weighted Hashing

Jian Zhang, Yuxin Peng|arXiv (Cornell University)|Dec 8, 2016

Advanced Image and Video Retrieval Techniques参考文献 41被引用数 4

ひとこと要約

本稿では、クラスごとのハッシュビット重みを学習し、クエリに適応する重みを動的に生成することで、重み付きハミング距離を用いた細粒度な画像検索を可能にする、新しい深層ハッシング手法であるQuery-adaptive Deep Weighted Hashing (QaDWH) を提案する。この手法は、4つのベンチマークデータセットにおいて、8つの最先端手法を上回り、推論時間のわずかな増加で検索精度を向上させる。

ABSTRACT

Hashing methods have attracted much attention for large scale image retrieval. Some deep hashing methods have achieved promising results by taking advantage of the strong representation power of deep networks recently. However, existing deep hashing methods treat all hash bits equally. On one hand, a large number of images share the same distance to a query image due to the discrete Hamming distance, which raises a critical issue of image retrieval where fine-grained rankings are very important. On the other hand, different hash bits actually contribute to the image retrieval differently, and treating them equally greatly affects the retrieval accuracy of image. To address the above two problems, we propose the query-adaptive deep weighted hashing (QaDWH) approach, which can perform fine-grained ranking for different queries by weighted Hamming distance. First, a novel deep hashing network is proposed to learn the hash codes and corresponding class-wise weights jointly, so that the learned weights can reflect the importance of different hash bits for different image classes. Second, a query-adaptive image retrieval method is proposed, which rapidly generates hash bit weights for different query images by fusing its semantic probability and the learned class-wise weights. Fine-grained image retrieval is then performed by the weighted Hamming distance, which can provide more accurate ranking than the traditional Hamming distance. Experiments on four widely used datasets show that the proposed approach outperforms eight state-of-the-art hashing methods.

研究の動機と目的

• 従来のハッシング手法がすべてのハッシュビットを同等に扱うという制限を是正し、離散的なハミング距離のための順位付け精度が低い問題を解決する。
• 異なる画像カテゴリにおける異なるビットの意味的重要性を反映するクラスごとのハッシュビット重みを学習することで、画像検索精度を向上させる。
• クエリの意味的特徴と学習済みのクラスごとの重みに基づいて、動的にクエリに適応する重みを生成することで、細粒度な順位付けを実現する。
• 大規模応用に適した計算コストの増加を最小限に抑えつつ、高い検索精度を達成する。

提案手法

• 2ストリームの深層ニューラルネットワークを設計：一方のストリームは、コンactなハッシュコードとそれに伴うクラスごとのビット重みを学習し、もう一方のストリームは意味的情報を保持して学習をガイドする。
• トレーニング中に、画像クラス間で異なるハッシュビットの重要性を反映するクラスごとの重みを学習する。
• 推論時に、クエリの予測された意味的確率分布と学習済みのクラスごとの重みを行列積を用いて統合することで、クエリに適応する重みを生成する。
• 画像検索は、標準的なハミング距離よりも細粒度な順位付けを可能にする重み付きハミング距離を用いて実行する。
• フレームワークはエンドツーエンドで学習可能であり、ハッシュコードの品質、意味的保持、ビット重みの関連性を同時に最適化する。
• 標準的な指標（平均平均精度（mAP）を含む）を用いて、4つの大規模データセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 すべてのビットを同等に扱うのではなく、クラスごとのハッシュビット重みを学習することで、検索精度が向上するか？
• RQ2 クエリの意味的特徴とクラスごとの重みから生成されるクエリに適応する重みは、さらに順位付け精度を向上させるか？
• RQ3 提案手法QaDWHは、最先端の深層および従来のハッシング手法と比較して、精度と効率の両面で優れているか？
• RQ4 意味的確率と学習済みの重みを統合することで、より効果的な重み付きハミング距離の計算が可能になるか？

主な発見

• QaDWHは、CIFAR10、NUS-WIDE、MIRFLICKR、ImageNetの4つの広く使われているデータセットで最先端の性能を達成した。
• 平均平均精度（mAP）の観点から、8つの最先端ハッシング手法を上回り、優れた検索精度を示した。
• ベースラインのDWH（固定のクラスごとの重みを使用）は、NINH*（重みなし）を著しく上回り、学習済みビット重みの価値を裏付けた。
• QaDWHはすべてのデータセットでDWHをさらに上回り、クエリに適応する重み生成の有効性を確認した。
• QaDWHのテスト時間は、他の深層ハッシング手法と同等（ImageNetでは10ms未満）であり、重み生成に効率的な行列積を用いるため、QRankよりも著しく高速だった。
• 結果から、重み付きハミング距離が細粒度な順位付けを可能にし、複数の画像がクエリに対して同一のハミング距離を持つ問題を解決できることが示された。