[論文レビュー] Fast Spectral Ranking for Similarity Search

Ahmet İşcen, Yannis Avrithis+3 more|HAL (Le Centre pour la Communication Scientifique Directe)|Mar 20, 2017

Advanced Image and Video Retrieval Techniques参考文献 58被引用数 5

ひとこと要約

本稿では、事前学習された近似グラフ・フーリエ基底をオフラインで計算することにより、大規模な画像検索における多様体に配慮した類似度検索を高速化する Fast Spectral Ranking (FSR) を提案する。明示的なスペクトル埋め込みを用いて多様体探索を効率的なユークリッド距離およびドット積探索に変換することで、インスタントリーやオックスフォード105kなどのデータセットで最先端の性能を達成し、標準的なユークリッド検索と同等のクエリ時間となる一方で、オンラインでのグラフ切断処理の必要性を排除する。

ABSTRACT

Despite the success of deep learning on representing images for particular object retrieval, recent studies show that the learned representations still lie on manifolds in a high dimensional space. This makes the Euclidean nearest neighbor search biased for this task. Exploring the manifolds online remains expensive even if a nearest neighbor graph has been computed offline. This work introduces an explicit embedding reducing manifold search to Euclidean search followed by dot product similarity search. This is equivalent to linear graph filtering of a sparse signal in the frequency domain. To speed up online search, we compute an approximate Fourier basis of the graph offline. We improve the state of art on particular object retrieval datasets including the challenging Instre dataset containing small objects. At a scale of 10^5 images, the offline cost is only a few hours, while query time is comparable to standard similarity search.

研究の動機と目的

• 深部度量学習におけるオンライン多様体探索の高い計算コスト、特に小規模オブジェクト検索の文脈でその問題を解決すること。
• 共役勾配法などの反復的ソルバーに依存するグラフベースのランク付け手法のクエリ時間の短縮。
• 近似フーリエ基底の計算をオフラインで行うことで、スペクトル計算をシフトさせることで、スケーラブルで低レイテンシの類似度検索を実現すること。
• 従来の手法で性能を低下させるオンラインでのグラフ切断処理を回避することで、検索 mAP の向上。
• 画像検索を超えて一般化可能なスケーラブルなフレームワークを提供すること。

提案手法

• 本手法は、スペクトルドメインにおける線形グラフフィルタリングとして画像検索を定式化し、スパースなクエリ信号をグラフ上で平滑化するための転送関数を用いる。
• ランダム化 SVD を用いて、グラフラプラシアンの近似フーリエ基底をオフラインで計算し、大規模スケールでの高速スペクトル分解を可能にする。
• 線形システムの解は、$ \mathbf{x} = U\Lambda^{-1}U^T\mathbf{y} $ として閉形式で表現され、ここで $ U $ は近似固有ベクトル行列である。
• 2段階の類似度検索を用いる：まず埋め込み空間におけるユークリッド距離；次にドット積類似度による順位付け。
• 埋め込みをスパース化し、積分量子化を用いることで、メモリを最大90%まで削減できる FSRw.approx の変種を導入。性能低下は最小限に抑えられる。
• 本手法は汎用的で解釈可能であり、グラフ信号処理、ランダムウォーク、カーネル法と関連する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル成分を事前計算することで、多様体に配慮した類似度検索を高速化し、オンラインクエリコストを近似ユークリッドレベルまで低下させることは可能か？
• RQ2 近似フーリエ基底は、スケーラブルで低レイテンシの推論を可能にする一方で、検索精度をどれほど保持できるか？
• RQ3 スペクトル表現の圧縮において、埋め込み次元数、スパarsity、mAP の間のトレードオフはどのようなものか？
• RQ4 オンラインでのグラフ切断処理を排除することで、Instre のような困難なデータセットでの検索性能が向上するか？
• RQ5 本手法は、類似度検索を超えて、クラスタリングや半教師あり学習などの他のタスクにも一般化可能か？

主な発見

• Instre データセットでは、21×2048 の領域記述子を用いて、FSR は 89.2% の mAP を達成し、先行の最先端の拡散法と同等の性能を示したが、はるかに高速なクエリ時間となった。
• Oxford105k では 21×512 記述子を用い、FSRw.approx はスパース化により 90% のメモリ削減を達成し、フルバージョンから僅か 0.2% の mAP の低下に抑え、93.0% の mAP を達成した。
• 64バイトの積分量子化を用いても、Oxford105k で FSR は 91.1% の mAP を維持し、記述子の圧縮に対して高いロバスト性を示した。
• 本手法により、クエリ時間が近似ユークリッドレベルまで短縮され、標準的な類似度検索と同等の性能を達成した一方で、オンライン共役勾配ソルバーを上回った。
• オンラインでのグラフ切断処理を排除することで、Oxford105k で mAP が 3% 向上し、完全な多様体探索の利点を実証した。
• スペクトル基底のオフライン計算はデータセットサイズに比例し、10^5枚の画像に対して数時間で完了するため、大規模な展開において実用的である。