[論文レビュー] Composed Image Retrieval with Text Feedback via Multi-grained Uncertainty Regularization

Yiyang Chen, Zhedong Zheng+3 more|arXiv (Cornell University)|Nov 14, 2022

Advanced Image and Video Retrieval Techniques被引用数 12

ひとこと要約

本稿では、不確実性モデリングと正則化を通じて多スケールの不確実性をモデル化することにより、テキストフィードバックを伴う複合画像検索のための統一学習フレームワークを提案する。特徴空間のフラクチュエーションをシミュレートすることで粗いグレインのクエリを表現し、損失重みを動的に調整することで、FashionIQ、Fashion200k、Shoesでそれぞれ+4.03%、+3.38%、+2.40%のリCALL向上を達成。強力なベースラインを上回りつつ、既存モデルとの互換性を維持している。

ABSTRACT

We investigate composed image retrieval with text feedback. Users gradually look for the target of interest by moving from coarse to fine-grained feedback. However, existing methods merely focus on the latter, i.e., fine-grained search, by harnessing positive and negative pairs during training. This pair-based paradigm only considers the one-to-one distance between a pair of specific points, which is not aligned with the one-to-many coarse-grained retrieval process and compromises the recall rate. In an attempt to fill this gap, we introduce a unified learning approach to simultaneously modeling the coarse- and fine-grained retrieval by considering the multi-grained uncertainty. The key idea underpinning the proposed method is to integrate fine- and coarse-grained retrieval as matching data points with small and large fluctuations, respectively. Specifically, our method contains two modules: uncertainty modeling and uncertainty regularization. (1) The uncertainty modeling simulates the multi-grained queries by introducing identically distributed fluctuations in the feature space. (2) Based on the uncertainty modeling, we further introduce uncertainty regularization to adapt the matching objective according to the fluctuation range. Compared with existing methods, the proposed strategy explicitly prevents the model from pushing away potential candidates in the early stage, and thus improves the recall rate. On the three public datasets, i.e., FashionIQ, Fashion200k, and Shoes, the proposed method has achieved +4.03%, +3.38%, and +2.40% Recall@50 accuracy over a strong baseline, respectively.

研究の動機と目的

• テキストフィードバックのシナリオにおいて、1対1の細粒度メトリクス学習と、現実世界の1対多の粗粒度検索の間の不整合を解消すること。
• 曖昧または不正確なユーザークエリを反映する特徴空間における不確実性をモデル化することで、リCALLレートを向上させること。
• 不確実性に基づく正則化を用いて、粗粒度および細粒度マッチングを1つの最適化目的に統合すること。
• 初期段階の学習中に、潜在的なポジティブ候補を遠ざけない学習戦略を開発すること。
• 最先端のクロスアテンションバックボーンおよび既存の検索手法との互換性を保証すること。

提案手法

• 特徴空間に同一分布のフラクチュエーションを注入することで、不確実性モデリングを導入し、粗粒度および細粒度の両方の検索範囲をシミュレートする。
• 不確実性正則化を採用し、フラクチュエーション範囲に応じて損失重みを動的に調整することで、曖昧なクエリに対する罰則を軽減する。
• 粗粒度と細粒度学習のトレードオフを制御するための学習可能なパラメータ γ₀ を使用し、γ₀ = 1 が堅牢な初期設定であることが示された。
• 不確実性正則化項を損失関数に緩い制約として適用し、1対1ペアへの過剰適合を防ぎ、潜在的なポジティブを保持する。
• 不確実な範囲を有効なマッチ領域として扱うことで、1対1および1対多マッチングを両立させるマッチング目的を適応する。
• 既存の手法（例：Clip4Cir や BLIP）とシームレスに統合され、上に積み重ねることで性能向上を達成する。

実験結果

リサーチクエスチョン

• RQ1 1対1のマッチングと1対多のマッチングを両立させる統一学習フレームワークは、テキストフィードバックシナリオにおいて、どのようにして粗粒度および細粒度の画像検索を効果的にモデル化できるか？
• RQ2 ペアベースのメトリクス学習を曖昧で1対多のクエリに適用した場合、リCALLにどのような影響を与えるか？
• RQ3 特徴空間における不確実性モデリングは、細粒度の精度を低下させることなく、リCALLを向上させることができるか？
• RQ4 適応的不確実性正則化は、学習収束性および一般化性能にどのように影響を与えるか？
• RQ5 提案手法は、最先端のクロスアテンションバックボーンとどの程度組み合わせ可能か？

主な発見

• 提案手法は、強力なベースラインに対して、FashionIQで+4.03%、Fashion200kで+3.38%、Shoesで+2.40%のリCALL向上を達成した。
• 専用の粗粒度検索専用評価では、曖昧なクエリに対して、Recall@10が1.46%向上、Recall@50が3.34%向上した。
• 提案手法の訓練損失はゼロでない定数に収束しており、1対1ペアへの過剰適合を避ける傾向にあることが示された。これに対して、ベースラインはゼロに収束した。
• Clip4Cirと組み合わせた場合、FashionIQにおけるRecall@50は56.74%から59.23%に向上した。
• BLIPバックボーンと統合した場合、ShoesデータセットにおけるRecall@50は70.21%から75.29%に向上した。
• ソース画像の特徴拡張は、1対多マッチングと矛盾するため性能を劣化させるが、ターゲット特徴拡張はより効果的である。