[論文レビュー] Deep Region Hashing for Efficient Large-scale Instance Search from Images

Jingkuan Song, Tao He+3 more|arXiv (Cornell University)|Jan 26, 2017

Advanced Image and Video Retrieval Techniques参考文献 28被引用数 32

ひとこと要約

本論文では、効率的な大規模インスタンス検索のため、オブジェクト候補生成、特徴抽出、バイナリーハッシュコード学習を統合的に実行するエンドツーエンドのディープニューラルネットワークであるDeep Region Hashing (DRH)を提案する。DRHは、領域候補ネットワークと特徴抽出器の間でフル画像の畳み込み特徴を共有することで、ほぼコストフリーの領域候補を実現し、最先端の手法と比較して最大100倍の高速化を達成しながら、4つのベンチマークデータセットにおいて平均平均精度（mAP）を上回る性能を発揮する。

ABSTRACT

Instance Search (INS) is a fundamental problem for many applications, while it is more challenging comparing to traditional image search since the relevancy is defined at the instance level. Existing works have demonstrated the success of many complex ensemble systems that are typically conducted by firstly generating object proposals, and then extracting handcrafted and/or CNN features of each proposal for matching. However, object bounding box proposals and feature extraction are often conducted in two separated steps, thus the effectiveness of these methods collapses. Also, due to the large amount of generated proposals, matching speed becomes the bottleneck that limits its application to large-scale datasets. To tackle these issues, in this paper we propose an effective and efficient Deep Region Hashing (DRH) approach for large-scale INS using an image patch as the query. Specifically, DRH is an end-to-end deep neural network which consists of object proposal, feature extraction, and hash code generation. DRH shares full-image convolutional feature map with the region proposal network, thus enabling nearly cost-free region proposals. Also, each high-dimensional, real-valued region features are mapped onto a low-dimensional, compact binary codes for the efficient object region level matching on large-scale dataset. Experimental results on four datasets show that our DRH can achieve even better performance than the state-of-the-arts in terms of MAP, while the efficiency is improved by nearly 100 times.

研究の動機と目的

• オブジェクト候補と特徴抽出を分離する従来の2段階型インスタンス検索パイプラインの非効率性と性能の劣化を是正すること。
• 大規模データセットにおける高次元特徴マッチングの計算ボトル neck を軽減するため、コンパクトなバイナリーハッシュコードを学習すること。
• 領域候補、特徴学習、ハッシュコード生成を統合的に最適化するエンドツーエンド学習を可能にし、精度と効率を向上させること。
• 大規模インスタンスリtrievalにおいて、平均平均精度（mAP）をSOTA水準に保ちながら、検索時間を著しく短縮すること。

提案手法

• DRHは、オブジェクト候補、特徴抽出、ハッシュコード生成を1つのアーキテクチャに統合したエンドツーエンドのディープニューラルネットワークである。
• 領域候補ネットワークと特徴抽出器の間でフル画像の畳み込み特徴マップを共有することで、ほぼコストフリーの領域候補が可能になる。
• 各領域の高次元の実数値特徴が、効率的な類似度検索を可能にする低次元でコンパクトなバイナリーハッシュコードにマッピングされる。
• ハッシュコード生成層は、意味的類似性を保持するための判別性の高いバイナリーコードを学習する。
• モデルは、領域局在化とハッシュコード品質の両方を最適化するため、自己教師付きの方法で学習される、シアン型ネットワーク構造を採用する。
• フレームワークは、グローバル（gDRH）およびローカル（lDRH）な再ランク付け戦略をサポートしており、さらに検索精度を向上させるためにクエリ拡張（QE）が適用される。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのディープラーニングフレームワークが、領域候補、特徴抽出、ハッシュコード生成を統合的に最適化することで、インスタンス検索の効率性と精度を向上させられるか？
• RQ2 領域候補モジュールと特徴抽出モジュールの間でフル画像の畳み込み特徴を共有することで、計算コストと性能にどのような影響が生じるか？
• RQ3 学習されたバイナリーハッシュコードが、大規模インスタンス検索における検索時間をどの程度短縮できるか、かつ検索精度を維持または向上させられるか？
• RQ4 標準ベンチマークにおいて、提案手法DRHは最先端手法と比較して、mAPと推論速度の両面でどのように差をつけるか？
• RQ5 ディープリージョンハッシングに再ランク付けとクエリ拡張を統合することで、さらに検索性能が向上するか？

主な発見

• オックスフォード105kデータセットでは、DRHは平均平均精度（mAP）が0.825を達成し、最先端手法Tolias et al. + AML + QE よりも9.3%高い。
• パリ106kデータセットでは、DRHはmAPが0.802を達成し、ベースライン手法に対して相対的に9.3%の改善を示した。
• 512ビットのハッシュコードを用いる場合、オックスフォード105kおよびパリ106kデータセットの両方で検索時間をわずか3ミリ秒に短縮し、ベースラインCNN特徴手法と比較して300倍以上の高速化を実現した。
• 1024ビットのハッシュコードでさえも、ベースライン手法に対して100倍の高速化を維持しており、スケーラビリティと効率性を示している。
• 定性的な結果から、DRHは、対象画像の全画像ではなく小さな領域がクエリである場合でも、正確にインスタンスを検索できることを示している。
• DRHは、量子化による情報損失に苦しむ従来のハッシングベース手法を上回り、速度と精度の両面で非ハッシング手法をも凌駆する性能を発揮している。