[論文レビュー] BOSS: Bottom-up Cross-modal Semantic Composition with Hybrid Counterfactual Training for Robust Content-based Image Retrieval

Wenqiao Zhang, Jiannan Guo+6 more|arXiv (Cornell University)|Jul 9, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、ロバストなコンテンツベースの画像検索を実現するためのボトムアップ型クロスマodal意味的構成フレームワークBOSSを提案する。本手法は、テキストクエリに条件付けられた局所的およびグローバルな視覚的特徴を統合的にモデリングし、クエリ-ターゲット対応関係を精緻化する二重監視戦略を採用することで、FashionIQ、Fashion200k、Shoesの各データセットで最先端の性能を達成した。

ABSTRACT

Content-Based Image Retrieval (CIR) aims to search for a target image by concurrently comprehending the composition of an example image and a complementary text, which potentially impacts a wide variety of real-world applications, such as internet search and fashion retrieval. In this scenario, the input image serves as an intuitive context and background for the search, while the corresponding language expressly requests new traits on how specific characteristics of the query image should be modified in order to get the intended target image. This task is challenging since it necessitates learning and understanding the composite image-text representation by incorporating cross-granular semantic updates. In this paper, we tackle this task by a novel \underline{ extbf{B}}ottom-up cr\underline{ extbf{O}}ss-modal \underline{ extbf{S}}emantic compo\underline{ extbf{S}}ition ( extbf{BOSS}) with Hybrid Counterfactual Training framework, which sheds new light on the CIR task by studying it from two previously overlooked perspectives: \emph{implicitly bottom-up composition of visiolinguistic representation} and \emph{explicitly fine-grained correspondence of query-target construction}. On the one hand, we leverage the implicit interaction and composition of cross-modal embeddings from the bottom local characteristics to the top global semantics, preserving and transforming the visual representation conditioned on language semantics in several continuous steps for effective target image search. On the other hand, we devise a hybrid counterfactual training strategy that can reduce the model's ambiguity for similar queries.

研究の動機と目的

• 既存のコンテンツベースの画像検索（CIR）手法が、クロスグレインの視覚的および言語的相互作用を効果的にモデリングできないという限界を是正すること。
• 構成クエリとターゲット画像の対応関係を明示的にモデリングすることで、細粒度のクエリ理解を向上させること。
• 新しいハイブリッド反事実訓練戦略を用いて、類似するクエリにおける曖昧性を低減すること。
• ボトムアップかつ文脈に配慮した方法で、局所的およびグローバルな視覚的特徴を統合して表現学習を強化すること。
• 改善された視覚言語的構成と監視により、複数のCIRベンチマークで最先端の性能を達成すること。

提案手法

• テキスト入力を条件として、局所的視覚的特徴とグローバルな意味を段階的に統合するボトムアップ型クロスマodal意味的構成モジュールを提案する。
• 文脈を保持するための監視と、ネガティブサンプルにおけるコンテンツ独立性を保証するための監視の両方を提供する、ハイブリッド反事実訓練（HCT）戦略を導入する。
• 局所的およびグローバル特徴の構成を同時に最適化するマルチレベル表現学習スキームを採用し、より豊かな視覚言語的表現を実現する。
• 埋め込み品質の向上を図るため、トリプレット損失に加えて再構成損失とアライメント損失を追加で用いる。
• 二重ブランチアーキテクチャを設計し、共通の埋め込み空間内で構成クエリ表現とターゲット画像特徴をアライメントさせる。
• ネガティブサンプリングを伴う対照的学習を適用し、類似するクエリとその正しいターゲットを区別する能力を強化する。

実験結果

リサーチクエスチョン

• RQ1 局所的およびグローバルな視覚的特徴のボトムアップ的構成は、コンテンツベースの画像検索におけるクロスマodal理解をどのように向上させるか？
• RQ2 ハイブリッド反事実訓練は、類似するクエリの状況において、曖昧性をどの程度低減するか？
• RQ3 構成-ターゲット対応関係に対する明示的監視は、標準的な対照的学習と比較して、検索精度を向上させるか？
• RQ4 局所的およびグローバル特徴表現は、検索性能に独立しておよび共同でどのように寄与するか？
• RQ5 提案フレームワークにおける各損失成分の相対的寄与度は何か？

主な発見

• BOSSは、FashionIQ、Fashion200k、Shoesの3つのベンチマークデータセットで最先端の性能を達成し、FashionIQではRC@10が31.61%、RC@50が56.06%を記録した。
• ハイブリッド反事実訓練（HCT）モジュールは、これを除いたアブレーションと比較して、RC@10で1.42%、RC@50で4.40%の絶対的向上を示した。
• 局所的またはグローバル特徴の構成を削除すると、顕著な性能低下が生じ、マルチレベル表現学習の重要性が裏付けられた。
• 再構成損失（$\mathcal{L}_{res}$）とアライメント損失（$\mathcal{L}_{ali}$）の両方が、性能向上に有意義に寄与しており、全損失組み合わせが最良の結果をもたらした。
• 定性的分析の結果、HCTにより、標準的なDMLモデルが曖昧なケースで正しくターゲット画像を検索できないのに対し、本手法はRC@10レベルで正しく検索できた。
• t-SNE可視化により、HCT最適化された意味的空間において、構成クエリ表現とターゲット表現が特に類似するクエリにおいても近接していることが確認された。