[論文レビュー] Modality-Agnostic Attention Fusion for visual search with text feedback

Eric McVoy Dodds, Jack Culpepper+3 more|arXiv (Cornell University)|Jun 30, 2020

Multimodal Machine Learning Applications参考文献 57被引用数 48

ひとこと要約

MAAF は modality-agnostic attention を介して画像とテキストのトークンを融合し、テキストで修正した画像検索を実現します。Fashion IQ と CSS で最先端の結果を達成し、Fashion200k でも競争力のある性能を示します。

ABSTRACT

Image retrieval with natural language feedback offers the promise of catalog search based on fine-grained visual features that go beyond objects and binary attributes, facilitating real-world applications such as e-commerce. Our Modality-Agnostic Attention Fusion (MAAF) model combines image and text features and outperforms existing approaches on two visual search with modifying phrase datasets, Fashion IQ and CSS, and performs competitively on a dataset with only single-word modifications, Fashion200k. We also introduce two new challenging benchmarks adapted from Birds-to-Words and Spot-the-Diff, which provide new settings with rich language inputs, and we show that our approach without modification outperforms strong baselines. To better understand our model, we conduct detailed ablations on Fashion IQ and provide visualizations of the surprising phenomenon of words avoiding "attending" to the image region they refer to.

研究の動機と目的

• 単純な属性を超えた自然言語フィードバックを用いた画像付きの細粒度ビジュアル検索を動機づける。
• 画像とテストークンを注意ベースの処理のために均一に扱う融合メカニズムを開発する。
• ファッション中心で言語情報の豊富な複数のリトリーバルデータセットで実証的に評価する。
• 成分寄与と注意挙動を理解するためのアブレーションと定性的分析を提供する。

提案手法

• 画像とテキストの入力をモダリティごとに抽出されたトークン列として表現する（画像: ResNet feature maps; テキスト: LSTM embeddings）。
• 画像とテキストのトークンを結合し、モダリティ非依存の方法で自己注意を適用し、Q/K/V をモダリティ間で共有する。
• 各トークンタイプ内のトークン出力をプーリングして平均化し、最近傍探索のための単一埋め込みを形成する。
• クエリ-ターゲットペア上のバッチベースの分類損失で学習し、recall@k を最適化する。
• クロスアテンションを含む変種や複数のアテンションブロックを探索し、さまざまなテキスト表現（Embedding、LSTM、Transformer、BERT）を評価する。

実験結果

リサーチクエスチョン

• RQ1 モダリティ-アグノスティックな注意の融合は、テキスト修正画像検索においてクロスモーダル注意の変種より優れているのだろうか？
• RQ2 テキストの複雑さが異なるデータセットで、画像-テキストトークンの融合戦略は検索精度にどう影響しますか？
• RQ3 異なるテキスト表現とマルチ解像度の画像トークンが検索性能に与える影響は？
• RQ4 より豊富な言語入力と新しいベンチマークは、融合アプローチの強みと限界を明らかにしますか？

主な発見

方法	R1
MAAF (ours)	87.8 ± 0.9

• MAAF は Fashion IQ の検証で最良の単一モデル性能を達成し、データセット上の従来の単一モデル法を上回り（外部データを使わずに最先端に近づく）。
• CSS では MAAF は 87.8 recall@1 を達成し、TIRG や FiLM などの従来法より大幅に高い。
• さまざまな注意の変種は、Fashion IQ において単一ストリームのモダリティ-アグノスティック設計が、複数の二ストリームクロスアテンション構成より優れていることを示している。
• ランダムに初期化された埋め込みを用いた LSTM ベースのテキストエンコーダは、このタスクにおいてよりリッチな自己注意テキストエンコーダをしばしば上回る。
• 定性的分析は直感に反する注意挙動を示し、語を修正すると参照対象に直接対応しない領域に注意が向く傾向があることを明らかにする。