[論文レビュー] Image Search with Text Feedback by Additive Attention Compositional Learning

Yuxin Tian, Shawn Newsam+1 more|arXiv (Cornell University)|Mar 8, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文は、画像とテキストフィードバックを統合的にモデル化することで、洗練された画像検索を実現するトランスフォーマー基盤の手法、Additive Attention Compositional Learning (AACL) を提案する。AACLは、テキスト記述に基づいて画像特徴を効果的に変更できるように、グローバルなコンテキストベクトルを学習する。この手法は、FashionIQ、Fashion200k、および新規のShopping100kベンチマークで最先端の性能を達成した。

ABSTRACT

Effective image retrieval with text feedback stands to impact a range of real-world applications, such as e-commerce. Given a source image and text feedback that describes the desired modifications to that image, the goal is to retrieve the target images that resemble the source yet satisfy the given modifications by composing a multi-modal (image-text) query. We propose a novel solution to this problem, Additive Attention Compositional Learning (AACL), that uses a multi-modal transformer-based architecture and effectively models the image-text contexts. Specifically, we propose a novel image-text composition module based on additive attention that can be seamlessly plugged into deep neural networks. We also introduce a new challenging benchmark derived from the Shopping100k dataset. AACL is evaluated on three large-scale datasets (FashionIQ, Fashion200k, and Shopping100k), each with strong baselines. Extensive experiments show that AACL achieves new state-of-the-art results on all three datasets.

研究の動機と目的

• 望ましい変更を説明する自然言語フィードバックを用いて、画像検索結果を精緻化する課題に対処すること。
• 畳み込み特徴集約に依存し、画像・テキストコンテキストの効率的でグローバルなモデリングを欠く既存手法の限界を克服すること。
• インタラクティブな画像検索に効果的に視覚的・言語的表現を合成できる、汎用的でエンドツーエンドで訓練可能なフレームワークを開発すること。
• より良いマルチ属性画像変更タスクの評価を可能とする、Shopping100kから派生した新規で挑戦的なベンチマークデータセットを構築すること。
• 複雑なマルチ属性フィードバックを伴う多様で大規模なファッションリトライーブデータセット全体で、一貫した性能向上を示すこと。

提案手法

• 画像・テキストの統合表現からグローバルコンテキストベクトルを計算する、新しいマルチモーダルアドティブアテンションレイヤーを提案する。
• コンテキストベクトルを用いて、学習可能なアテンションベースの変換機構により、クエリ画像トークンを効果的に変更する。
• 完全にトランスフォーマー基盤のアーキテクチャにアドティブアテンションモジュールを統合し、共同の視覚的・言語的特徴学習を実現する。
• 画像トークンがコンテキストベクトルと元の特徴を用いて更新される、リサイクルスタイルの更新メカニズムを適用する。
• 学習可能なクエリベクトルを用いて画像およびテキスト特徴にアテンションを適用し、動的でコンテキストに適応した特徴合成を可能にする。
• 潜在空間におけるターゲット画像と合成された画像・テキスト表現を一致させるために、コントラスト学習の目的関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 アドティブアテンションは、自然言語フィードバックによる画像検索において、画像とテキストの連合コンテキストを効果的にモデル化できるか？
• RQ2 畳み込み的またはドット積アテンションに依存する既存手法と比較して、提案されたAACLフレームワークはマルチ属性画像変更タスクでどのように性能を発揮するか？
• RQ3 属性の複雑さが異なる多様なファッションデータセットにおいて、モデルはどの程度一般化できるか？
• RQ4 パフォーマンスおよび効率性の観点から、アドティブアテンション機構は標準的なドット積アテンションと比べてどの程度寄与しているか？
• RQ5 ヒューリスティック積（Hadamard積）と加算とのような異なる相互作用関数は、画像とテキスト特徴の合成能力にどのように影響するか？

主な発見

• AACLはFashionIQで最先端の性能を達成し、Recall@1が58.98、Recall@50が81.29に達した。これは先行手法を上回る結果であった。
• Fashion200kでは、Recall@1が55.25、Recall@50が84.66を達成し、データセット間での強い一般化能力を示した。
• 2つの異なる属性を持つ新規のShopping100kベンチマークでは、Recall@1が49.20、Recall@50が81.29を達成し、新たな最先端を樹立した。
• アブレーションスタディの結果、アドティブアテンションはドット積アテンションを上回る性能を示し、Recall@50で0.69ポイントの向上を確認した。
• 相互作用関数においてヒューリスティック積を加算に置き換えると性能が低下したため、非線形的相互作用が有益であることが示された。
• アテンション可視化の結果、モデルは「sleeves（スリーブ）」や「white（白）」、「longer（より長い）」といった重要な意味的語彙に注目し、テキストに応じて動的に関連する画像領域にアテンションを向けることがわかった。