[論文レビュー] Effective Image Retrieval via Multilinear Multi-index Fusion

Zhizhong Zhang, Yuan Xie+2 more|arXiv (Cornell University)|Sep 27, 2017

Advanced Image and Video Retrieval Techniques参考文献 35被引用数 3

ひとこと要約

本稿では、t-SVDに基づくテンソルノルム核を用いて、複数の視覚的表現間の高次元で補完的な情報を捉えることで、一様なテンソル空間内でインデックス固有の関数行列を最適化する、画像検索のためのマルチラインアーマルチインデックス融合（MMF）手法を提案する。本手法は、スパース制約と増分ラグランジュ法による効率的な最適化を活用することで、オンラインメモリオーバーヘッドを最小限に抑えつつ、最先端の性能を達成する。

ABSTRACT

Multi-index fusion has demonstrated impressive performances in retrieval task by integrating different visual representations in a unified framework. However, previous works mainly consider propagating similarities via neighbor structure, ignoring the high order information among different visual representations. In this paper, we propose a new multi-index fusion scheme for image retrieval. By formulating this procedure as a multilinear based optimization problem, the complementary information hidden in different indexes can be explored more thoroughly. Specially, we first build our multiple indexes from various visual representations. Then a so-called index-specific functional matrix, which aims to propagate similarities, is introduced for updating the original index. The functional matrices are then optimized in a unified tensor space to achieve a refinement, such that the relevant images can be pushed more closer. The optimization problem can be efficiently solved by the augmented Lagrangian method with theoretical convergence guarantee. Unlike the traditional multi-index fusion scheme, our approach embeds the multi-index subspace structure into the new indexes with sparse constraint, thus it has little additional memory consumption in online query stage. Experimental evaluation on three benchmark datasets reveals that the proposed approach achieves the state-of-the-art performance, i.e., N-score 3.94 on UKBench, mAP 94.1\% on Holiday and 62.39\% on Market-1501.

研究の動機と目的

• 既存のマルチインデックス統合手法が、異なる視覚的表現間の高次元関係を無視するという制限を解決すること。
• 一様なテンソル空間においてインデックス固有およびサンプル固有の依存関係をモデル化することで、複数のインデックス間の補完的情報を活用すること。
• オンラインクエリ時の低メモリ消費を維持するため、スパースなインデックス構造を保つ効率的な最適化フレームワークを開発すること。
• テンソルノルム核を用いて最適化された学習関数行列を通じて類似度を伝搬させることで、検索精度を向上させること。
• グループベースのデータパーティショニングを用いた効率的で並列化可能な計算により、理論的収束性とスケーラビリティを確保すること。

提案手法

• 画像と視覚的特徴の間の相互作用をモデル化するため、テンソル表現を用いたマルチライン最適化問題としてマルチインデックス統合を定式化する。
• 従来の近隣ベースの類似度伝搬に代わって、インデックス固有の関数行列を導入し、インデックス間で類似度を伝搬させる。
• 一様なテンソル空間における高次元で低ランクな構造を捉えるために、テンソル特異値分解（t-SVD）とテンソルノルム核を採用する。
• 収束保証付きの増分ラグランジュ法を用いて、最適化問題を効率的に解く。
• インvertedインデックス構造の固有のスパarsityを維持し、オンラインメモリ使用量を削減するために、関数行列にスパース制約を課す。
• データセットのパーティショニングと並列化を可能にするために、関数行列にブロック行列構造を導入する。

実験結果

リサーチクエスチョン

• RQ1 視覚的特徴と画像間の高次元かつ多次元的な関係を効果的にモデル化することで、画像検索性能を向上させることができるか？
• RQ2 インデックス固有の関数行列を一様なテンソル空間で最適化することで、類似度伝搬をどのように向上させられるか？
• RQ3 従来の近隣ベースの統合と比較して、テンソルベースの低ランク構造を組み込むことで、検索精度がどの程度向上するか？
• RQ4 提案手法は、オンライン検索における追加的メモリコストを最小限に抑えながら、高い性能を維持できるか？
• RQ5 GIST特徴のような弱いまたは低品質なインデックスを統合した場合、本手法はどの程度頑健か？

主な発見

• 提案されたMMF手法は、UKBenchデータセットで3.94のNスコアを達成し、最先端の性能を示した。
• Holidaysデータセットでは、平均平均精度（mAP）が94.1%に達し、既存手法を上回った。
• Market-1501データセットでは、ランク1精度が62.39%に達し、人物再識別において強力な性能を示した。
• 関数行列にスパース制約を適用しない場合、ランク1誤差がほぼ5%絶対的に低下した。これは、性能とスケーラビリティの両面でスパース制約の重要性を裏付けた。
• Market-1501上での学習関数行列は約97%スパースであり、強力な部分空間構造と効率的なメモリ使用を示している。
• 収束曲線から、30～50イテレーションで安定的かつ迅速に収束することが確認され、1イテレーションあたり数百ミリ秒で最適性能に到達した。