[論文レビュー] End-to-end Learning of Deep Visual Representations for Image Retrieval

Albert Gordo, Jon Almazán+2 more|arXiv (Cornell University)|Oct 25, 2016

Advanced Image and Video Retrieval Techniques参考文献 2被引用数 12

ひとこと要約

この論文は、R-MACを微分可能かつトレーニング可能なものに改善することで、インスタンスレベルの画像検索のためのエンドツーエンドのディープラーニングフレームワークを提案する。本手法は、オックスフォード5k、パリ6k、Holidaysの各データセットで最先端の性能を達成し、それぞれ94.7%、96.6%、94.8%の平均平均精度を達成しており、精度損失を最小限に抑えながら製品量子化を用いて高圧縮な記述子を実現する。

ABSTRACT

While deep learning has become a key ingredient in the top performing methods for many computer vision tasks, it has failed so far to bring similar improvements to instance-level image retrieval. In this article, we argue that reasons for the underwhelming results of deep methods on image retrieval are threefold: i) noisy training data, ii) inappropriate deep architecture, and iii) suboptimal training procedure. We address all three issues. First, we leverage a large-scale but noisy landmark dataset and develop an automatic cleaning method that produces a suitable training set for deep retrieval. Second, we build on the recent R-MAC descriptor, show that it can be interpreted as a deep and differentiable architecture, and present improvements to enhance it. Last, we train this network with a siamese architecture that combines three streams with a triplet loss. At the end of the training process, the proposed architecture produces a global image representation in a single forward pass that is well suited for image retrieval. Extensive experiments show that our approach significantly outperforms previous retrieval approaches, including state-of-the-art methods based on costly local descriptor indexing and spatial verification. On Oxford 5k, Paris 6k and Holidays, we respectively report 94.7, 96.6, and 94.8 mean average precision. Our representations can also be heavily compressed using product quantization with little loss in accuracy. For additional material, please see www.xrce.xerox.com/Deep-Image-Retrieval.

研究の動機と目的

• ノイズの多いデータ、最適でないアーキテクチャ、不十分なトレーニング手順によるディープラーニングのインスタンスレベル画像検索における性能不足を是正すること。
• ランドマークデータセットからのノイズのあるアノテーションを自動でフィルタリングすることで、クリーンで大規模なトレーニングデータセットを構築すること。
• R-MACに基づく微分可能でエンドツーエンドトレーニング可能なディープアーキテクチャを設計し、検索用のグローバル画像表現を学習すること。
• エンコーディング中に顕著な画像領域を動的に選択する領域提案ネットワークを統合することで、特徴の学習を向上させること。
• 精度損失を最小限に抑えながら、製品量子化を用いて学習済み記述子を圧縮し、効率的かつスケーラブルな検索を可能にすること。

提案手法

• R-MAC記述子を完全に微分可能なニューラルネットワークアーキテクチャに変換し、エンドツーエンドトレーニングを可能にする。
• 検索のランク付け性能を最適化するために、3本のストリームを持つシアンプルアーキテクチャとトリプレット損失を用いてネットワークをトレーニングする。
• 固定グリッドの代わりに学習可能な領域提案ネットワークを導入し、関連のある画像領域に注目を向けることを可能にする。
• 異なるスケールの入力からのマルチスケール特徴マップを統合することで、スケール不変性を備えた最終的な記述子を豊かにする。
• 製品量子化（PQ）を適用し、1画像あたり2048次元の記述子を最大64バイトまで圧縮し、精度の低下を最小限に抑える。
• PCAとPQを用いて記述子を圧縮し、クリーンなトレーニングデータ上でコードブックを学習することで、検索性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドトレーニングされたディープネットワークは、事前学習済みのCNNを特徴抽出器として用いる場合と比較して、インスタンスレベル画像検索を改善できるか？
• RQ2 ノイズのあるランドマークアノテーションの自動クリーニングが、ディープ検索モデルの性能にどのように影響するか？
• RQ3 検索に特化した損失関数と同時にトレーニングされた場合、微分可能なR-MACに類似したアーキテクチャは、標準的なR-MACをどの程度上回るか？
• RQ4 提案ネットワークを用いてプーリング領域を学習することで、固定グリッドプーリングと比較して検索精度が向上するか？
• RQ5 例えば64バイトのPQコードのような高圧縮な記述子は、画像検索において最先端の性能を維持できるか？

主な発見

• 提案手法は、オックスフォード5kで94.7%、パリ6kで96.6%、Holidaysで94.8%の平均平均精度を達成し、先行する最先端手法を顕著に上回る。
• 製品量子化による64バイトの記述子でさえも、2048バイトの記述子を用いる大多数の既存手法を上回る性能を示す。
• 学習可能な領域提案ネットワークの導入により、特に複雑なシーンにおいて、固定グリッドR-MACよりも検索精度が向上する。
• マルチスケール特徴の統合により、細かいおよび粗い視覚的パターンの両方を捉えることができ、性能が向上する。
• 製品量子化により、1台の64 GB RAMマシンに数億枚の画像を格納できることが実証され、高いスケーラビリティを示す。
• 局所的記述子マッチングと空間的検証に基づく複雑で計算コストの高いパイプラインを上回りながら、より高速でメモリ効率が良い。