[論文レビュー] CNN Based Hashing for Image Retrieval

Jinma Guo, Jianmin Li|arXiv (Cornell University)|Sep 4, 2015

Advanced Image and Video Retrieval Techniques参考文献 35被引用数 12

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）に基づく新しいエンドツーエンドのハッシュ化手法であるCNNBHを提案する。この手法は、全結合層の活性化の符号をバイナリ化することでバイナリハッシュコードを生成し、MNISTでは最先端の性能を達成し、CIFAR-10では最も優れた結果を示した。従来手法よりもMAPが8–16%も向上した。

ABSTRACT

Along with data on the web increasing dramatically, hashing is becoming more and more popular as a method of approximate nearest neighbor search. Previous supervised hashing methods utilized similarity/dissimilarity matrix to get semantic information. But the matrix is not easy to construct for a new dataset. Rather than to reconstruct the matrix, we proposed a straightforward CNN-based hashing method, i.e. binarilizing the activations of a fully connected layer with threshold 0 and taking the binary result as hash codes. This method achieved the best performance on CIFAR-10 and was comparable with the state-of-the-art on MNIST. And our experiments on CIFAR-10 suggested that the signs of activations may carry more information than the relative values of activations between samples, and that the co-adaption between feature extractor and hash functions is important for hashing.

研究の動機と目的

• 既存の教師ありハッシュ化手法が複雑な類似度行列の構築に依存するという限界を解消すること。
• 深層CNN特徴の符号だけが効果的なハッシュコードとして機能するかどうかを検討すること。
• 特徴学習とハッシュ化を統合した、シンプルでエンドツーエンドで学習可能なハッシュフレームワークを開発すること。
• 特徴抽出器とハッシュ関数の相互適応が検索性能に与える影響を調査すること。
• 深層特徴の符号に基づくバイナリ化が、値に基づく類似度指標やカーネル化ハッシュ化手法を上回ることを示すこと。

提案手法

• 本手法は、画像分類のための標準的なCNNをエンドツーエンドで学習するが、別個のハッシュ化段階は設けない。
• 選択された全結合層の活性化をゼロでしきい値処理することでバイナリハッシュコードを生成する：$ h_i = \begin{cases} 1 & \text{if } a_i \geq 0 \\ 0 & \text{otherwise} \end{cases} $
• 分類損失を最小化することで、検索に最適化された特徴表現が暗黙的に最適化される。
• ハッシュコードのための行列分解や別個最適化を回避することで、学習を簡素化する。
• 最終的なハッシュコードは、直前の中間全結合層の出力の符号から直接導出される。
• CIFAR-10およびMNISTにおける標準指標（例：平均平均精度（MAP））を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 深層CNN特徴の符号だけが、画像検索のための効果的なバイナリハッシュコードとして機能するか？
• RQ2 分類のためのCNNをエンドツーエンドで学習することで、二段階手法（例：CNNH）よりも優れたハッシュコードが得られるか？
• RQ3 特徴学習とハッシュ化の間の相互適応が性能に重要であるか？
• RQ4 符号に基づくバイナリ化は、ユークリッド距離のような値に基づく類似度測定と比べてどうか？
• RQ5 特徴の符号の単純なバイナリ化が、KSHのようなより複雑なカーネル化ハッシュ化手法を上回るか？

主な発見

• CNNBHはCIFAR-10で最高の性能を示し、前人最高の手法よりも平均平均精度（MAP）が16%向上した。
• MNISTでは最先端の性能を達成し、KSH やユークリッド距離順序付けを含むすべてのベースライン手法を上回った。
• 活性化の符号が、サンプル間の相対的な大きさよりもより判別力のある情報を保持していることが判明した。
• L2_fc+（リラクティフィード特徴）の性能がL2_fc 略して上回ったことから、符号情報が内部の符号内大きさの差よりもより有用であることが示された。
• CNNBHと同一層の特徴を使用したKSHは、CNNBHより性能が劣った。これは、特徴とハッシュ化のエンドツーエンドでの共同学習がより効果的であることを示している。
• GistおよびCNN特徴を用いたLSHベースのハッシュ化と比較して、本手法は優れていた。これは、CNN特徴がハッシュ化において、手作業特徴よりも優れていることを示している。