[論文レビュー] TRACE: Transform Aggregate and Compose Visiolinguistic Representations for Image Search with Text Feedback

Surgan Jandial, Ayush Chopra+4 more|arXiv (Cornell University)|Sep 3, 2020

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

TRACEは、参照画像と自然言語フィードバックからの視覚的・言語的表現を階層的に統合する新規な階層的特徴集約アーキテクチャを提案する。このアーキテクチャにより、詳細なテキスト制約を伴う画像検索が向上する。FashionIQ、Shoes、Birds-to-Wordsのベンチマークで最先端の性能を達成し、それぞれR@Kが最低5.7%、3%、5%向上する。

ABSTRACT

The ability to efficiently search for images over an indexed database is the cornerstone for several user experiences. Incorporating user feedback, through multi-modal inputs provide flexible and interaction to serve fine-grained specificity in requirements. We specifically focus on text feedback, through descriptive natural language queries. Given a reference image and textual user feedback, our goal is to retrieve images that satisfy constraints specified by both of these input modalities. The task is challenging as it requires understanding the textual semantics from the text feedback and then applying these changes to the visual representation. To address these challenges, we propose a novel architecture TRACE which contains a hierarchical feature aggregation module to learn the composite visio-linguistic representations. TRACE achieves the SOTA performance on 3 benchmark datasets: FashionIQ, Shoes, and Birds-to-Words, with an average improvement of at least ~5.7%, ~3%, and ~5% respectively in R@K metric. Our extensive experiments and ablation studies show that TRACE consistently outperforms the existing techniques by significant margins both quantitatively and qualitatively.

研究の動機と目的

• 参照画像とユーザーが提供するテキストフィードバックを統合することで、詳細なリトリーブを実現する画像検索の向上を図ること。
• マルチモodalな設定において、テキストの意味的解釈と視覚的表現の変化を整合させる課題に対処すること。
• より高いリトリーブ精度を実現するための複合視覚的・言語的表現を学習する統一アーキテクチャの開発。
• 現実的なユーザーのフィードバックシナリオ下で、既存の手法を上回ること。

提案手法

• TRACEは、参照画像からの視覚的特徴とユーザーのフィードバックからのテキスト埋め込みを段階的に統合する階層的特徴集約モジュールを採用する。
• アーキテクチャは、複数の抽象化レベルで両モodalを注目することで、複合表現を学習する。
• トレーニング中に、複合表現を関連する画像特徴と一致させるために対照的学習を活用する。
• ペアドされた画像-テキストフィードバックデータ上でエンドツーエンドに訓練され、リトリーブ性能を最適化する。
• 未観測の視覚的および言語的制約の組み合わせに対しても、ファインチューニングなしでゼロショット適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 どのようにして視覚的および言語的モーダルを効果的に組み合わせ、画像検索におけるユーザーの意図を表現できるか？
• RQ2 階層的特徴集約は、画像リトリーブのためのマルチモーダル表現学習をどの程度向上させるか？
• RQ3 ファインチューニングなしで、未観測の画像とテキストフィードバックの組み合わせに一般化できるか？
• RQ4 さまざまなベンチマークにおいて、提案されたアーキテクチャは既存の手法と比べてどの程度リトリーブ精度で優れているか？

主な発見

• FashionIQベンチマークにおいて、TRACEは先行手法と比較してR@Kで平均5.7%の向上を達成した。
• Shoesデータセットでは、既存の最先端手法を上回り、R@Kが最低3%向上した。
• Birds-to-Wordsデータセットでは、TRACEはR@Kで平均5%の向上を示し、優れた一般化性能を示した。
• アブレーションスタディの結果、階層的特徴集約モジュールがパフォーマンス向上に不可欠であることが確認された。
• 定性的な結果から、TRACEがテキストフィードバックが示唆する微細な視覚的変化を正確に捉えていることが示された。