[論文レビュー] Towards Practical Visual Search Engine within Elasticsearch

Cun Mu, Jun Zhao+3 more|arXiv (Cornell University)|Jun 23, 2018

Advanced Image and Video Retrieval Techniques参考文献 4被引用数 9

ひとこと要約

本論文では、高次元の画像特徴ベクトルを文字列トークンに符号化することで、Elasticsearchの逆インデックスを用いて効率的な近似最近傍検索を実現する、Elasticsearch内に構築された画期的なビジュアルサーチシステムを提示する。提案されたベクトルから文字列への符号化手法は、高い正確性（Precision@24で最大98.2%）と低遅延（0.5秒未満）を達成し、エコマース環境におけるスケーラブルでコスト効率が良く、マルチモーダル検索を可能にする。

ABSTRACT

In this paper, we describe our end-to-end content-based image retrieval system built upon Elasticsearch, a well-known and popular textual search engine. As far as we know, this is the first time such a system has been implemented in eCommerce, and our efforts have turned out to be highly worthwhile. We end up with a novel and exciting visual search solution that is extremely easy to be deployed, distributed, scaled and monitored in a cost-friendly manner. Moreover, our platform is intrinsically flexible in supporting multimodal searches, where visual and textual information can be jointly leveraged in retrieval. The core idea is to encode image feature vectors into a collection of string tokens in a way such that closer vectors will share more string tokens in common. By doing that, we can utilize Elasticsearch to efficiently retrieve similar images based on similarities within encoded sting tokens. As part of the development, we propose a novel vector to string encoding method, which is shown to substantially outperform the previous ones in terms of both precision and latency. First-hand experiences in implementing this Elasticsearch-based platform are extensively addressed, which should be valuable to practitioners also interested in building visual search engine on top of Elasticsearch.

研究の動機と目的

• Elasticsearchがテキスト検索のために設計されたシステムであることを踏まえ、効率的なコンテンツベースの画像検索を可能にすること。
• 高次元のベクトル類似度検索を処理できないElasticsearchの制限を、特徴ベクトルのメモリ内保持を必要とせずに克服すること。
• 既存のエコマースインfra構造と互換性を持つ、スケーラブルでコスト効率が良く、プロダクション環境で利用可能なビジュアルサーチソリューションを開発すること。
• 1つのインデックス内でネイティブに視覚的およびテキスト的クエリを統合することで、マルチモーダル検索をサポートすること。
• ベクトルから文字列への符号化が、実世界のエコマースアプリケーションにおいて高い正確性と低遅延を達成できることを実証すること。

提案手法

• 深層学習モデルを用いて画像特徴が抽出され、高次元のユークリッド空間に埋め込まれる。
• 画面上の類似したベクトルがより多くの共通トークンを持つように、新しいベクトルから文字列への符号化手法が考案される。
• 符号化された文字列トークンがElasticsearchの逆インデックスにインデックス化され、トークンの重複に基づいて候補画像の高速取得が可能になる。
• クエリ時間に、クエリベクトルが文字列トークンに符号化され、Elasticsearchのトークンベース検索によって候補セットが取得される。
• 最終的な正確性を向上させるために、候補セットはクエリベクトルとの正確なユークリッド距離に基づいて再順序付けられる。
• 視覚的およびテキスト的データを1つのElasticsearchインデックスに同時にインデックス化することで、マルチモーダル検索をサポートする。

実験結果

リサーチクエスチョン

• RQ1 Elasticsearch（テキスト検索のために設計されたシステム）の上に、実用的なビジュアルサーチシステムを構築できるか？
• RQ2 高次元の画像特徴ベクトルを効率的に文字列トークンに符号化する方法は何か？ これにより、Elasticsearchの逆インデックスを用いた類似度検索が可能になる。
• RQ3 エコマースにおけるビジュアルサーチの文脈で、ベクトルから文字列への符号化における正確性と遅延のトレードオフは何か？
• RQ4 視覚的およびテキスト的クエリを統合したシームレスなマルチモーダル検索をサポートできるか？
• RQ5 先行手法と比較して、提案手法の検索正確性とパフォーマンスはどのように異なるか？

主な発見

• 提案されたベクトルから文字列への符号化手法は、先行手法を著しく上回り、正確性と遅延の両面で優れた性能を示した。Precision@24は最大98.20%に達し、平均遅延は0.5秒未満であった。
• 256の重心と64のサブベクトルを用いた設定では、0.5秒未満の遅延で96.06%のPrecision@24を達成し、重要なパフォーマンスの閾値を満たした。
• 256の重心と256のサブベクトルを用いた場合、0.7970秒の遅延で98.97%のPrecision@24を達成し、強力なスケーラビリティを示した。
• 数百万の高次元ベクトルをRAMにロードする必要がなくなるため、コスト効率の良いデプロイメントが可能になった。
• 視覚的およびテキスト的データを1つのElasticsearchインデックスにインデックス化することで、シームレスなマルチモーダル検索が可能になった。
• 本手法により、実世界のエコマース環境で容易に分散・スケーリング・監視可能なプロダクションデプロイメントが実現された。