[論文レビュー] Iterative Manifold Embedding Layer Learned by Incomplete Data for Large-scale Image Retrieval

Jian Xu, Chunheng Wang+3 more|arXiv (Cornell University)|Jul 14, 2017

Advanced Image and Video Retrieval Techniques参考文献 39被引用数 4

ひとこと要約

本稿では、不完全なデータ上で非教師的・オフライン学習を用いて、画像特徴を低次元多様体空間にマップする学習可能で線形な変換である反復的多様体埋め込み（IME）層を提案する。2次近接性とユークリッド補正を用いて、反復的に測地的距離を改善することで、近似ゼロの計算コストで高速かつ高精度な画像検索を実現する。従来の多様体手法に比べ120倍以上の高速化を達成し、5つの標準データセットで後処理を要しない状態で最先端の手法を上回る性能を発揮する。

ABSTRACT

Existing manifold learning methods are not appropriate for image retrieval task, because most of them are unable to process query image and they have much additional computational cost especially for large scale database. Therefore, we propose the iterative manifold embedding (IME) layer, of which the weights are learned off-line by unsupervised strategy, to explore the intrinsic manifolds by incomplete data. On the large scale database that contains 27000 images, IME layer is more than 120 times faster than other manifold learning methods to embed the original representations at query time. We embed the original descriptors of database images which lie on manifold in a high dimensional space into manifold-based representations iteratively to generate the IME representations in off-line learning stage. According to the original descriptors and the IME representations of database images, we estimate the weights of IME layer by ridge regression. In on-line retrieval stage, we employ the IME layer to map the original representation of query image with ignorable time cost (2 milliseconds). We experiment on five public standard datasets for image retrieval. The proposed IME layer significantly outperforms related dimension reduction methods and manifold learning methods. Without post-processing, Our IME layer achieves a boost in performance of state-of-the-art image retrieval methods with post-processing on most datasets, and needs less computational cost.

研究の動機と目的

• 大規模画像検索における従来の多様体学習手法の非効率さと適用不能性（特に高コストなクエリ時間と新しいクエリ画像の処理不能性）を解決すること。
• スパースかつ不完全なデータによるk-NNグラフの不安定性を、2次近接性と測地的距離補正を活用することで克服すること。
• リアルタイム画像検索に適した軽量で線形な変換層（IME層）を設計すること。
• 後処理（例：再ランク付け）を要しない状態で、最先端の手法と同等またはそれ以上の性能を達成しつつ、クエリ時間における追加計算を一切不要としないこと。

提案手法

• IME層は、不完全な訓練データに基づき、リッジ回帰を用いてオフラインで訓練され、元の画像記述子を低次元多様体表現にマップする。
• 2次近接性を活用することで、類似した近隣を持つ点どうしがより類似しているとみなされるように、k-NNグラフの安定性を反復的に向上させる。
• 測地的距離をユークリッド距離を用いて補正することで、スパースな多様体に起因する推定誤差を低減する。
• 最終的なIME層は、反復的埋め込みプロセスの簡略化された線形近似であり、推論時にほぼゼロの計算コストを実現する。
• CNNベースの特徴（例：R-MAC）と互換性があり、深層ネットワークに直接全結合層として挿入可能である。
• 完全な多様体構築を避けるために、不完全なデータ（例：Oxford5k, Paris6k）にノイズや除外候補（distractors）を追加して訓練する。

実験結果

リサーチクエスチョン

• RQ1 不完全なデータから効率的に学習可能な多様体ベースの埋め込み層を設計できるか？
• RQ2 スパースなサンプリングに起因する多様体学習における測地的距離推定誤差をどのように軽減できるか？
• RQ3 線形で学習可能な層が、複雑な非線形多様体手法に比べて著しく低い推論コストで同等または優れた性能を達成できるか？
• RQ4 本手法は、クエリ拡張や再ランク付けなどの後処理に依存する最先端の検索手法を上回るか？

主な発見

• 27,000枚の画像データセット上で、従来の多様体学習手法（例：IsoMap, LLE）と比較して、IME層はクエリ時間の埋め込み処理で120倍以上の高速化を達成した。
• 5つの公開データセットにおいて、IME層はすべての評価次元で、IsoMap や LLE を含む関連する次元削減および多様体学習手法を上回った。
• INSTREデータセットでは、最高の競合手法（IsoMap）を13 mAPポイント以上上回り、顕著な性能向上を示した。
• クエリ拡張や再ランク付けなどの後処理を一切行わずに、大多数のデータセットで後処理を要する最先端の手法を上回った。
• IME層は1クエリあたり2ミリ秒未満の追加コストしか発生せず、一方で拡散法（diffusion）のような手法は1クエリあたり約14秒を要するため、その効率性が顕著に示された。
• 不完全なデータ（例：10万件の除外候補を含む5,000枚の画像）で学習しても、性能が著しく低下せず、データスパarsityに強く、ロバストであることが実証された。