[論文レビュー] Instance Similarity Deep Hashing for Multi-Label Image Retrieval.

Zheng Zhang, Qin Zou+3 more|arXiv (Cornell University)|Mar 8, 2018

Advanced Image and Video Retrieval Techniques参考文献 46被引用数 17

ひとこと要約

本論文は、共有ラベルの割合に基づく連続的で正規化されたインスタンス類似度に従来の二値的ペairワイズ類似度を置き換えることで、マルチラベル画像検索のための新しい深層ハッシング手法であるインスタンス類似度深層ハッシング（ISDH）を提案する。重み付き交差エントロピー損失と最小二乗平均誤差損失を統合することで、特徴学習とハッシュコード最適化を統合的に実現し、3つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Hash coding has been widely used in the approximate nearest neighbor search for large-scale image retrieval. Recently, many deep hashing methods have been proposed and shown largely improved performance over traditional feature-learning-based methods. Most of these methods examine the pairwise similarity on the semantic-level labels, where the pairwise similarity is generally defined in a hard-assignment way. That is, the pairwise similarity is '1' if they share no less than one class label and '0' if they do not share any. However, such similarity definition cannot reflect the similarity ranking for pairwise images that hold multiple labels. In this paper, a new deep hashing method is proposed for multi-label image retrieval by re-defining the pairwise similarity into an instance similarity, where the instance similarity is quantified into a percentage based on the normalized semantic labels. Based on the instance similarity, a weighted cross-entropy loss and a minimum mean square error loss are tailored for loss-function construction, and are efficiently used for simultaneous feature learning and hash coding. Experiments on three popular datasets demonstrate that, the proposed method outperforms the competing methods and achieves the state-of-the-art performance in multi-label image retrieval.

研究の動機と目的

• 共有ラベルを二値（1または0）として扱う従来のハードアサインメント型ペairワイズ類似度の限界を是正すること。
• ラベルの重複に基づく連続的で正規化されたインスタンス類似度測定を導入することで、マルチラベル画像間の意味的類似度の表現を向上させること。
• インスタンス類似度に基づく損失関数を用いて、特徴学習とハッシュコード生成を統合的に最適化する深層ハッシングフレームワークの構築。
• より洗練された類似度モデリングを活用することで、大規模なマルチラベル画像検索において最先端の性能を達成すること。

提案手法

• 本論文はペアワイズ類似度を、2つの画像間の共有ラベルの比率として正規化したインスタンス類似度に再定義し、0〜1の連続的値を生成する。
• 訓練中にインスタンス類似度の相対的順序を保持するために、重み付き交差エントロピー損失を設計した。
• 学習されたハッシュコードと連続的インスタンス類似度値との差を最小化するため、最小二乗平均誤差（MSE）損失を導入した。
• 組み合わせ損失関数により、特徴抽出と二値ハッシュコード生成を同時に実行できるエンドツーエンドの深層ニューラルネットワークの訓練が可能になった。
• バックプロパゲーションを用いて、特徴抽出器とハッシュ関数の両方を最適化するエンドツーエンドの訓練が実施された。
• 本手法の有効性を検証するため、3つの標準的なマルチラベル画像検索ベンチマークで評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 二値的ペアワイズ類似度を連続的インスタンス類似度に置き換えることで、マルチラベル画像検索の性能がどのように向上するか？
• RQ2 従来のハードアサインメント手法と比較して、連続的類似度測定はマルチラベル画像間の意味的類似度の順序をより良く捉えられるか？
• RQ3 インスタンス類似度に基づく損失関数を用いた、特徴学習とハッシュコード生成の統合的最適化はどの程度効果的か？
• RQ4 重み付き交差エントロピー損失とMSE損失を統合することで、従来の損失関数に比べて検索精度が向上するか？

主な発見

• 提案されたISDH手法は、3つの代表的なマルチラベル画像検索データセットで最先端の性能を達成した。
• 連続的インスタンス類似度の使用により、複数のラベルを持つ画像間の意味的関係のモデリングがより正確になった。
• 重み付き交差エントロピー損失とMSE損失による統合的最適化により、特徴表現とハッシュコードの品質が向上した。
• 従来の二値的ペアワイズ類似度に依存する深層ハッシング手法と比較して、本手法は優れた検索精度を示した。