[論文レビュー] Central Similarity Hashing via Hadamard matrix.

Yuan Li, Tao Wang+4 more|arXiv (Cornell University)|Aug 1, 2019

Advanced Image and Video Retrieval Techniques参考文献 19被引用数 2

ひとこと要約

本稿では、ハダマード行列を用いた中央類似度ハッシュ化を提案し、ハミング空間におけるハッシュ中心の周囲に類似データペアが凝集するのを促進すると同時に、類似しないペアは離れるようにする、新たなグローバル類似度メトリクスを導入する。ハダマード行列を活用して高品質なハッシュ中心を効率的に構築することで、提案されたハッシュ中心ネットワーク（HCN）は、画像および動画検索において、既存手法よりも平均平均精度（MAP）を4%〜13%向上させ、最先端の性能を達成した。

ABSTRACT

Hashing has been widely used for efficient large-scale multimedia data retrieval. Most existing methods learn hashing functions from data pairwise similarity to generate binary hash codes. However, in practice we find only learning from the local relationships of pairwise similarity cannot capture the global distribution of large-scale data, which would degrade the discriminability of the generated hash codes and harm the retrieval performance. To overcome this limitation, we propose a new global similarity metric, termed as \emph{central similarity}, to learn better hashing functions. The target of central similarity learning is to encourage hash codes for similar data pairs to be close to a common center and those for dissimilar pairs to converge to different centers in the Hamming space, which substantially improves retrieval accuracy. In order to principally formulate the central similarity learning, we define a new concept, \emph{hash center}, to be a set of points scattered in the Hamming space with a sufficient distance between each other, and propose to use Hadamard matrix to construct high-quality hash centers efficiently. Based on these definitions and designs, we devise a new hash center network (HCN) that learns hashing functions by optimizing the central similarity w.r.t. these hash centers. The central similarity learning and HCN are generic and can be applied for both image and video hashing. Extensive experiments for both image and video retrieval demonstrate HCN can generate cohesive hash codes for similar data pairs and dispersed hash codes for dissimilar pairs, and achieve noticeable boost in retrieval performance, i.e. 4\%-13\% in MAP over latest state-of-the-arts. The codes are in: \url{https://github.com/yuanli2333/Hadamard-Matrix-for-hashing}

研究の動機と目的

• 既存のハッシング手法が局所的なペアワイズ類似度に依存するという限界に対処する。この限界により、グローバルなデータ分布を捉えることが困難である。
• 新たな類似度メトリクスを用いてグローバル構造をモデル化することで、学習された2値ハッシュコードの識別性を向上させる。
• ハミング空間における高品質なハッシュ中心を効率的かつスケーラブルに構築する方法を開発する。これにより、検索性能が向上する。
• 画像および動画検索に適用可能な汎用フレームワークを設計し、これらのハッシュ中心に関して中央類似度を最適化する。

提案手法

• 類似データペアがハミング空間における共通のハッシュ中心に近づくように促進する、新たなグローバル類似度メトリクス「中央類似度」を定義する。
• ハミング空間における互いに離れた点の集合として「ハッシュ中心」の概念を導入し、類似したアイテムをクラスタリングするための基準点とする。
• ハミング空間における中心間距離を最大にするように、ハダマード行列を用いて高品質で構造的な分布を持つハッシュ中心を効率的に生成する。
• 構築されたハッシュ中心に関して、ハッシュ関数と中央類似度損失を同時に学習する深層学習フレームワーク「ハッシュ中心ネットワーク（HCN）」を提案する。
• 中央類似度学習の目的関数を、類似ペアを同じ中心に引き寄せるようにし、類似しないペアを互いの中心から遠ざけるようにするコントラスト損失として定式化する。
• スケーラビリティと大規模な検索タスクにおける効率性を確保するため、ハダマードに基づくハッシュ中心構築をトレーニングパイプラインに統合する。

実験結果

リサーチクエスチョン

• RQ1 共通のハッシュ中心を用いてグローバルなデータ分布をモデル化することで、学習された2値ハッシュコードの識別性が向上するか？
• RQ2 共通の中心の周囲にクラスタリングを強制する中央類似度は、従来のペアワイズ類似度と比較して、検索精度においてどのように異なるか？
• RQ3 ハダマード行列を用いて、高品質で互いに離れたハッシュ中心を効果的に生成し、ハッシング性能を向上させることができるか？
• RQ4 同じ評価プロトコル下で、提案されたHCNフレームワークは、最先端手法をどの程度上回るか？
• RQ5 中央類似度学習フレームワークは、さまざまなマルチメディア検索タスクにおいて汎用的かつ有効であるか？

主な発見

• 提案されたHCNフレームワークは、画像および動画検索において、最新の最先端手法比で平均平均精度（MAP）を4%〜13%向上させた。
• HCNによって生成されたハッシュコードは、類似データペアに対して強い凝集性を示し、類似しないペアに対してはより高い分散性を示しており、識別性の向上が裏付けられた。
• ハダマード行列の使用により、ハミング空間における中心間距離を最大に保ちながら、高品質でスケーラブルなハッシュ中心の構築が可能になった。
• 中央類似度学習は、局所的なペアワイズ関係を越えたグローバルなデータ構造を捉えることで、検索性能を顕著に向上させた。
• HCNフレームワークは、画像および動画検索の両方のタスクにおいて汎用的かつ効果的であり、多様な設定で一貫した向上を示した。
• アブレーションスタディにより、中央類似度損失とハッシュ中心構築が性能向上の鍵となる重要な要素であることが確認された。