[論文レビュー] From Pixels to Purchase: Building and Evaluating a Taxonomy-Decoupled Visual Search Engine for Home Goods E-commerce

Cheng Lyu, Jingyue Zhang+4 more|arXiv (Cornell University)|Jan 16, 2026

Advanced Image and Video Retrieval Techniques被引用数 0

ひとこと要約

この論文は分類階層を分離したビジュアル検索システムと、LLMベースの評価フレームワークを導入しており、Wayfair に展開して視覚検索品質とユーザーエンゲージメントを向上させる。

ABSTRACT

Visual search is critical for e-commerce, especially in style-driven domains where user intent is subjective and open-ended. Existing industrial systems typically couple object detection with taxonomy-based classification and rely on catalog data for evaluation, which is prone to noise that limits robustness and scalability. We propose a taxonomy-decoupled architecture that uses classification-free region proposals and unified embeddings for similarity retrieval, enabling a more flexible and generalizable visual search. To overcome the evaluation bottleneck, we propose an LLM-as-a-Judge framework that assesses nuanced visual similarity and category relevance for query-result pairs in a zero-shot manner, removing dependence on human annotations or noise-prone catalog data. Deployed at scale on a global home goods platform, our system improves retrieval quality and yields a measurable uplift in customer engagement, while our offline evaluation metrics strongly correlate with real-world outcomes.

研究の動機と目的

• 分類階層の曖昧さがあり、オープンエンドなユーザー意図が重要となるスタイル主導ドメインで視覚検索を動機づける。
• ローカリゼーションを分類から切り離し、産業用視覚検索の適応性とスケーラビリティを向上させる。
• 人間の注釈なしで視覚的類似性とカテゴリ関連性を評価する評価フレームワークを、判断者としてのLLMを用いて開発する。
• オフライン指標と大規模な実ビジネスへの影響を通じて、システムの有効性をデモンストレーションする。

提案手法

• クラス非依存のリージョン提案と統一埋め込みを用いる分類階層分離アーキテクチャを提案する。
• Fine-grained taxonomy 依存性を避けつつ視覚的に類似した上位クラスを用いたYOLOXベースの物体検出器を訓練し、リージョン提案を生成する。
• オフラインインデックス作成とオンライン検索で用いられる堅牢な統一表現を実現するOpenCLIPベースの埋め込みモデルをファインチューニングする。
• 異方性ベクトル量子化を用いたGoogle Vertex AI Vector Search を使い、大規模で最新のインデックスを構築し、マルチステージフィルタリングを適用する。
• 購買可能なギャラリーを生成するための多段階の応答改良パイプラインを実装し、デデュプリケーションと商業ニーズに合わせたクラスラベリングを適用する。
• カテゴリ関連性と視覚的類似性を評価するLLM-によるジャッジのフレームワークを導入し、一貫性チェックを実施する。

実験結果

リサーチクエスチョン

• RQ1 分類階層分離型物体検出器と統一埋め込みの組み合わせは、分類階層依存システムと比較して視覚検索の精度を向上させるか。
• RQ2 LLMベースのゼロショット評価フレームワークは、カテゴリ関連性と視覚的類似性について人間の判断と一致すると信頼できるか。
• RQ3 LLM-ジャッジフレームワークのオフライン指標は、実世界のユーザーエンゲージメントと発見成果と相関するか。
• RQ4 提案システムのエンドツーエンドの実運用での性能は、商用ベースラインと比べてどうか。

主な発見

k	Method	Rel P@k	VS P@k	Success@k	nDCG@k
1	Google Lens	86.4	41.2	41.1	1.000
1	Class-dependent	82.5	43.5	43.2	1.000
1	Taxonomy-decoupled	94.4	59.3	58.9	1.000
3	Google Lens	84.5	37.4	59.4	0.947
3	Class-dependent	82.1	40.4	59.1	0.956
3	Taxonomy-decoupled	93.6	54.5	77.4	0.950
6	Google Lens	76.7	31.4	66.2	0.928
6	Class-dependent	82.1	38.2	67.0	0.932
6	Taxonomy-decoupled	92.9	51.1	85.3	0.926

• 分類階層分離型システムは、エンドツーエンドのリトリーブ指標で1k画像の評価においてGoogle Lensおよび従来のクラス依存システムを大幅に上回る。
• 視覚的類似性の精度と成功率は、k=1,3,6 で分類階層分離アプローチの方が著しく高い。
• LLM-ジャッジフレームワークは、カテゴリ関連性と視覚的類似性の両方で人間の判断と強い一致を示す（序数信頼性および二値指標）。
• 製品データでファインチューニングした埋め込みモデルは、従来の埋め込みよりもRecall@1とTop-1正確度が高い。
• Wayfair での実運用展開により PDP 表示率と文脈推薦のエンゲージメントが増加し、合成コントロール分析（eVCD）で測定可能な改善が確認された。
• 15k画像セットでの大規模環境でも堅牢な性能を維持し、良好な一般化を示す。