[論文レビュー] Deep Image Retrieval: Learning global representations for image search

Albert Gordo, Jon Almazán+2 more|arXiv (Cornell University)|Apr 5, 2016

Advanced Image and Video Retrieval Techniques参考文献 47被引用数 85

ひとこと要約

本論文では、エンド・トゥ・エンド学習により、グローバルでコンパクトな画像表現を学習するディーブラーニングフレームワークを提案する。シアンズ型ネットワークを用いた三重項ランク損失と領域提案ネットワークを統合することで、領域特徴抽出と領域プーリングを同時に最適化し、標準ベンチマークで最先端の性能を達成した。従来のグローバル記述子手法を上回り、空間的検証やクエリ拡張を用いるより複雑なアプローチと同等またはそれを上回る性能を発揮した。

ABSTRACT

We propose a novel approach for instance-level image retrieval. It produces a global and compact fixed-length representation for each image by aggregating many region-wise descriptors. In contrast to previous works employing pre-trained deep networks as a black box to produce features, our method leverages a deep architecture trained for the specific task of image retrieval. Our contribution is twofold: (i) we leverage a ranking framework to learn convolution and projection weights that are used to build the region features; and (ii) we employ a region proposal network to learn which regions should be pooled to form the final global descriptor. We show that using clean training data is key to the success of our approach. To that aim, we use a large scale but noisy landmark dataset and develop an automatic cleaning approach. The proposed architecture produces a global image representation in a single forward pass. Our approach significantly outperforms previous approaches based on global descriptors on standard datasets. It even surpasses most prior works based on costly local descriptor indexing and spatial verification. Additional material is available at www.xrce.xerox.com/Deep-Image-Retrieval.

研究の動機と目的

• 従来の局所記述子ベースのアプローチに比べ、インスタンスレベルの画像検索において性能が劣るディープラーニング手法の課題を解決すること。
• 事前学習済みネットワークをブラックボックス特徴抽出器として使用する制限を克服し、検索に特化してネットワークを訓練すること。
• エンド・トゥ・エンドで特徴抽出重みと最適な領域プーリング位置を同時に学習することで、グローバル記述子の品質を向上させること。
• 大規模ランドマークデータセットからのノイズの多いトレーニングデータを処理するための自動データクリーニングパイプラインを開発し、効果的な学習を可能にすること。
• 1回のフォワードパスと最小限の推論コストで高い検索精度を達成し、空間的検証などの高コストな後処理を回避すること。

提案手法

• 領域特徴抽出のための畳み込みおよび射影重みを最適化するため、三本のストリームを持つシアンズ型畳み込みニューラルネットワークを三重項ランク損失で学習する。
• 領域提案ネットワーク（RPN）を用いて、どの画像領域をプールすべきかを学習し、R-MACで用いられる固定グリッドに代わるコンテンツに依存した領域選択を実現する。
• トレーニングにLandmarksデータセットを活用し、誤ラベルや偽陽性画像を除去する自動クリーニング手法を適用することで、学習品質を向上させる。
• 学習された領域からの特徴をプールして固定長のグローバル記述子を構築し、ドット積による効率的な比較を可能にする。
• すべてのアーキテクチャをエンド・トゥ・エンドで訓練し、全段階で微分可能であるように設計することで、特徴学習と領域選択の共同最適化を可能にする。
• 推論時にモデルの複雑さを増さずに、性能をさらに向上させるためにクエリ拡張（QE）を後処理ステップとして適用する。

実験結果

リサーチクエスチョン

• RQ1 画像検索のためのディープネットワークをエンド・トゥ・エンドで訓練することで、固定抽出器としての事前学習特徴を用いる場合に比べ、性能を著しく向上させられるか？
• RQ2 領域提案ネットワークを用いてプーリング領域を学習することで、固定グリッドプーリングに比べ、グローバル記述子構築において優れた性能を達成できるか？
• RQ3 大規模でノイズの多いデータセットで学習されたディープ検索モデルの性能に、データ品質がどの程度影響を与えるか？
• RQ4 1つの汎用的ディープモデルが、データセット固有の適応や高コストな後処理を必要とせずに、複数のベンチマークで最先端の性能を達成できるか？
• RQ5 空間的検証やクエリ拡張に依存する最先端のアプローチと比較して、提案手法は精度と推論効率の両面でどのように差をつけるか？

主な発見

• 提案手法はOxford5kデータセットで86.7%のmAPを達成し、クエリ拡張を適用した場合89.1%にまで上昇し、従来のグローバル記述子手法を15mAPポイント以上上回った。
• Holidaysデータセットではクエリ拡張を適用した場合89.1%のmAPを達成し、以前の最先端（89.4% mAP）を上回ったが、はるかにスケーラブルであることが示された。
• Oxford5kデータセットでは1クエリあたり1msで89.1%のmAPを達成し、1画像あたり2kBのストレージで実現した。これは、空間的検証に1秒以上を要する手法を上回る性能であり、効率的である。
• ノイズの多いLandmarksデータセットに自動データクリーニングパイプラインを適用したことで、性能が著しく向上した。これは、クリーンなトレーニングデータの重要性を示している。
• 定量的・定性的な証拠により、領域提案ネットワークは固定グリッドプーリングよりも検索精度を向上させ、識別的な画像領域の局在化が優れていることが示された。
• 空間的検証やクエリ拡張を一切使用しなくても、Oxford5kデータセットで86.7%のmAPを達成し、これらの高コストな技術を用いる手法を上回った。これは、学習されたグローバル表現の質の高さを示している。