[論文レビュー] Collaborative Group: Composed Image Retrieval via Consensus Learning from Noisy Annotations

Xu Zhang, Zhedong Zheng+2 more|arXiv (Cornell University)|Jun 3, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文では、ノイジーや不完全なアノテーションによって引き起こされる三つ組みの曖昧性を軽減するため、ノイズのある三つ組みから学習し、KLダイバージェンス損失を用いて一貫性を達成する4つの異なるコンポジターを訓練する、言語誘導型画像検索のための新規フレームワーク、Consensus Network (Css-Net) を提案する。Css-Netは最先端の性能を達成し、FashionIQにおいてR@10を+2.77%、R@50を+6.67%向上させた。

ABSTRACT

Composed image retrieval extends content-based image retrieval systems by enabling users to search using reference images and captions that describe their intention. Despite great progress in developing image-text compositors to extract discriminative visual-linguistic features, we identify a hitherto overlooked issue, triplet ambiguity, which impedes robust feature extraction. Triplet ambiguity refers to a type of semantic ambiguity that arises between the reference image, the relative caption, and the target image. It is mainly due to the limited representation of the annotated text, resulting in many noisy triplets where multiple visually dissimilar candidate images can be matched to an identical reference pair (i.e., a reference image + a relative caption). To address this challenge, we propose the Consensus Network (Css-Net), inspired by the psychological concept that groups outperform individuals. Css-Net comprises two core components: (1) a consensus module with four diverse compositors, each generating distinct image-text embeddings, fostering complementary feature extraction and mitigating dependence on any single, potentially biased compositor; (2) a Kullback-Leibler divergence loss that encourages learning of inter-compositor interactions to promote consensual outputs. During evaluation, the decisions of the four compositors are combined through a weighting scheme, enhancing overall agreement. On benchmark datasets, particularly FashionIQ, Css-Net demonstrates marked improvements. Notably, it achieves significant recall gains, with a 2.77% increase in R@10 and 6.67% boost in R@50, underscoring its competitiveness in addressing the fundamental limitations of existing methods.

研究の動機と目的

• アノテーターが細部を漏れなく記録しないことによる三つ組みの曖昧性を是正すること。これにより、同じクエリに対して複数の誤ったネガティブ候補が生じる。
• 複数のコンポジターが協調的に学習し、トレーニングおよび推論時に一貫性を達成することで、ノイズのある三つ組みからのモデルバイアスを低減すること。
• 曖昧で不完全なアノテーションの負の影響を最小限に抑えることで、メトリック学習に基づく表現学習を向上させること。
• 既存のモデルのアーキテクチャを大幅に変更することなく、強力なベースラインと統合可能で、一般化性の高い手法を開発すること。

提案手法

• Css-Netは、4つの異なる統合戦略を用いることで多様な画像・テキスト埋め込みを生成する4つのコンポジターを持つ一貫性モジュールを採用する。
• 各コンポジターは、独自の知識獲得を保証するため、ピラミッドトレーニングパラダイムと補助的なテキスト・画像コンポジター設計を用いてトレーニングされる。
• 個々のコンポジター間のバイアスを低減し、知識蒸留を促進するために、Kullback-Leibler (KL) ダイバージェンス損失が適用される。
• トレーニング段階では、各コンポジターが予測のKLダイバージェンスを最小化することで、互いに学び合い、ノイズのあるデータ上で一貫性を達成する。
• 推論段階では、4つのすべてのコンポジターの出力を重み付けして集約することで、耐性を高め、個々の誤りを低減する。
• 本手法は既存のアーキテクチャと直交しており、CoSMoなどの強力なベースラインと統合することで、さらなる性能向上が可能である。

Figure 1. Illustration of the language-guided image retrieval system. Using a reference image and an associated descriptive sentence, the system endeavors to accurately retrieve the intended target image from candidate images for user convenience.

実験結果

リサーチクエスチョン

• RQ1 不完全なアノテーションによって引き起こされる三つ組みの曖昧性が、言語誘導型画像検索におけるメトリック学習の性能にどのように影響を与えるか？
• RQ2 ノイズのある三つ組みで学習する複数のコンポジターが、一貫性学習を通じてバイアスを低減し、耐性を向上させることができるか？
• RQ3 一貫性ベースのフレームワークが、曖昧でノイズの多い画像・テキスト三つ組みを処理する際、個々のモデルを上回る性能を発揮する程度はどの程度か？
• RQ4 提案されたKLベースの知識蒸留機構は、ノイズのあるアノテーションからのモデルバイアスを効果的に低減できるか？
• RQ5 一貫性アプローチは多様なデータセットに一般化可能であり、リtrievalベンチマークで最先端の手法を上回る性能を発揮できるか？

主な発見

• Css-Netは、CLIP4cirと比較して、FashionIQベンチマークでR@10を+2.77%、R@50を+6.67%向上させ、三つ組みの曖昧性の処理において顕著な向上を示した。
• Shoesデータセットでは、最先端のCLVC-Netと比較して、R@1が+2.49%、R@10が+2.42%向上し、データセット間での耐性を確認した。
• FashionIQのDressサブセットでは、ベースラインからR@10が+4.68%向上し、強力な既存モデルに対しても有効であることを示した。
• 4つのコンポジターを統合して推論することで、個々のコンポジターの性能を上回り、一貫性戦略の有効性を裏付けた。
• Fashion200kでは、モデルアンサンブルを用いてR@1が23.4%、R@10が52.0%を達成し、ベースラインの制限にもかかわらず、多くのSOTA手法を上回った。
• アブレーションスタディの結果、KL損失とマルチコンポジター設計が、ノイズのあるデータにおけるバイアス低減と一般化性能向上に不可欠であることが確認された。

Figure 2. Illustration of the triplet ambiguity problem. Triplet ambiguity denotes multiple false-negative samples in the dataset. It is due to the annotator usually seeing one triplet with true match (​ ) at a time, while neglecting other candidates ( ) in the whole dataset. Triplet ambiguity large