[論文レビュー] A Revisit on Deep Hashings for Large-scale Content Based Image Retrieval

Deng Cai, Xiuye Gu+1 more|arXiv (Cornell University)|Nov 16, 2017

Advanced Image and Video Retrieval Techniques参考文献 28被引用数 13

ひとこと要約

本論文は、大規模なコンテンツベース画像検索の文脈において、現実的な実験設定を用いて最先端の深層ハッシング手法を再評価し、それらが単純なマルチテーブル非教師付きハッシング手法（IsoH）に劣ることを明らかにした。先行研究の評価に重大な欠陥が存在することが判明した——検索時間の無視、小規模なデータセットの使用、従来の手法に対するマルチテーブル最適化の欠落——これにより、現実的な条件下では深層ハッシング手法がよく調整された古典的手法を一貫して上回らないという結論に至った。

ABSTRACT

There is a growing trend in studying deep hashing methods for content-based image retrieval (CBIR), where hash functions and binary codes are learnt using deep convolutional neural networks and then the binary codes can be used to do approximate nearest neighbor (ANN) search. All the existing deep hashing papers report their methods' superior performance over the traditional hashing methods according to their experimental results. However, there are serious flaws in the evaluations of existing deep hashing papers: (1) The datasets they used are too small and simple to simulate the real CBIR situation. (2) They did not correctly include the search time in their evaluation criteria, while the search time is crucial in real CBIR systems. (3) The performance of some unsupervised hashing algorithms (e.g., LSH) can easily be boosted if one uses multiple hash tables, which is an important factor should be considered in the evaluation while most of the deep hashing papers failed to do so. We re-evaluate several state-of-the-art deep hashing methods with a carefully designed experimental setting. Empirical results reveal that the performance of these deep hashing methods are inferior to multi-table IsoH, a very simple unsupervised hashing method. Thus, the conclusions in all the deep hashing papers should be carefully re-examined.

研究の動機と目的

• 大規模なコンテンツベース画像検索において、深層ハッシング手法が従来のハッシングを上回ると広く信じられている主張に挑戦すること。
• 既存の深層ハッシング論文の評価プロトコルに存在する重大な欠陥を特定し、是正すること。
• 深層ハッシングと従来のハッシング手法を比較するためのより現実的なベンチマークを確立すること。
• 検索時間とマルチテーブルインデキシングが性能に与える影響が顕著であり、評価に組み込むべきであることを示すこと。
• 現実的な条件下では、マルチテーブルIsoHのような単純な非教師付き手法が、複雑な深層学習ベースのハッシングアプローチを上回ることを示すこと。

提案手法

• 大規模なImageNetデータセットを用い、部分的に教師ありの設定下で、3つの最先端の深層ハッシング手法（DLBH、DNNH、DCH）を再評価した。
• 精度-時間曲線を用いて、正確性と効率性の両方を測定し、検索の実際の検索時間を含めた。
• 従来のハッシング手法（LSHとIsoH）にマルチテーブルのテクニックを適用した。これにより性能が著しく向上し、公平な比較が可能になった。
• 検索時間とスキャン時間のそれぞれを別々に測定し、コード長が検索効率に与える影響を明確に分離した。
• 2段階の検索パイプラインを採用した：まずハッシュバケットを用いてハミング距離に基づき候補画像を特定し、次に正確な距離計算により再ランク付けを行った。
• コード長が延長するにつれてアクセスすべきハッシュバケット数が指数関数的に増加することを分析し、検索時間の急増を説明した。

実験結果

リサーチクエスチョン

• RQ1 現実的な条件下で評価された場合、深層ハッシング手法の性能が従来のハッシング手法を上回り続けるのか？
• RQ2 検索時間を評価に組み込むことで、深層ハッシングと従来のハッシング手法の相対的な性能順位にどのような影響が生じるのか？
• RQ3 マルチテーブルインデキシングのテクニックが、LSH や IsoH といった従来のハッシングアルゴリズムの性能をどの程度向上させるのか？
• RQ4 コード長が深層ハッシング手法における検索精度と効率性のトレードオフに与える影響はいかほどか？
• RQ5 なぜ深層ハッシング手法は、大規模で複雑なデータセットにおいて、単純な非教師付きハッシング手法（例：IsoH）に劣ってしまうのか？

主な発見

• 適切な検索時間計測を伴う大規模なImageNetデータセット上で評価した結果、深層ハッシング手法の性能はマルチテーブルIsoHに劣ることが判明した。
• マルチテーブルIsoHは、最良の深層ハッシング手法（DLBH）に対しても、100件の検索結果における精度で顕著に優れた性能を示した。
• コード長が延びるにつれて、深層ハッシング手法の検索時間はほぼ指数関数的に増加し、高い正確性を得られる反面、長コードは実用的でなくなる。
• すべてのハッシング手法の精度は、大規模で複雑なデータセットではブルートフォース検索の上限に収束することが示され、性能の限界があることが明らかになった。
• 検索時間を評価に組み込むことで、深層ハッシングにおける長コード化が極めて長い検索時間を引き起こし、実用上の利点を損なうことが明らかになった。
• 本研究は、深層ハッシング論文における優位性の主張が現実的なベンチマーク下では頑健ではなく、再評価が不可欠であると結論づけた。