[論文レビュー] I Want This Product but Different : Multimodal Retrieval with Synthetic Query Expansion

Ivona Tautkutė, T. P. Trzcinski|arXiv (Cornell University)|Feb 17, 2021

Multimodal Machine Learning Applications参考文献 45被引用数 4

ひとこと要約

本論文は、視覚的およびテキスト的入力を統合してクエリを拡張するための合成画像を生成する、マルチモーダルリtrievalを目的としたSynthTriplet GANフレームワークを提案する。新しいトリプレットマイニング戦略を用いて埋め込み距離を最適化し、最先端のリtrieval性能を達成するとともに、生成された画像をターゲットの意味論と一致させることで説明可能な埋め込みを提供する。

ABSTRACT

This paper addresses the problem of media retrieval using a multimodal query (a query which combines visual input with additional semantic information in natural language feedback). We propose a SynthTriplet GAN framework which resolves this task by expanding the multimodal query with a synthetically generated image that captures semantic information from both image and text input. We introduce a novel triplet mining method that uses a synthetic image as an anchor to directly optimize for embedding distances of generated and target images. We demonstrate that apart from the added value of retrieval illustration with synthetic image with the focus on customization and user feedback, the proposed method greatly surpasses other multimodal generation methods and achieves state of the art results in the multimodal retrieval task. We also show that in contrast to other retrieval methods, our method provides explainable embeddings.

研究の動機と目的

• 製品カスタマイズのためのユーザーによる視覚的およびテキスト的フィードバックを提供するマルチモーダルリtrievalの課題に対処すること。
• 元の入力から拡張された意味的に整合性のある合成画像を生成することで、リtrievalの精度を向上させること。
• 生成された画像とターゲット画像間の意味的類似性を直接最適化することで、説明可能な埋め込みを生成するリtrievalフレームワークを開発すること。
• 既存のマルチモーダル生成およびリtrieval手法と比較して、精度と関連性の面で優れるようにすること。

提案手法

• SynthTriplet GANフレームワークは、入力画像とテキスト埋め込みの両方に条件付けられた合成画像を生成し、マルチモーダルクエリを拡張する。
• 新しいトリプレットマイニング戦略は、合成画像をアンカーとし、本物のターゲット画像と干渉者（distractors）から正例および負例を抽出する。
• モデルは、合成画像とターゲット画像間の埋め込み空間距離を最適化し、トリプレット損失関数を用いてギャップを最小化する。
• 生成器とディスクライマーを共同で訓練することで、現実的で意味的に整合性のある画像を生成し、ユーザーのフィードバックを反映させる。
• 生成された画像が負例よりもターゲット画像に埋め込み空間で近くなるように保証するため、対照的学習の目的関数を活用する。
• 最終的な埋め込み空間は解釈可能であり、合成画像、本物の画像、クエリ入力の間で明確な意味的整合性が保たれる。

実験結果

リサーチクエスチョン

• RQ1 ユーザーのフィードバックと組み合わせた合成画像生成は、マルチモーダルリtrievalのパフォーマンスを向上させ得るか？
• RQ2 トリプレットマイニングにおける合成画像をアンカーとして用いることで、埋め込み品質およびリtrieval精度がどのように向上するか？
• RQ3 提案手法は、既存の生成およびリtrievalベースラインと比較して、マルチモーダルリtrieバルで最先端の結果を達成できるか？
• RQ4 学習された埋め込みはどの程度説明可能で意味的に意味を持つのか？

主な発見

• 提案手法は、既存のマルチモーダル生成およびリtrieバルアプローチと比較して、マルチモーダルリtrieバルにおいて最先端のパフォーマンスを達成した。
• トリプレットマイニングにおける合成画像をアンカーとして用いることで、より正確で意味的に整合性のある画像埋め込みが得られた。
• フレームワークは説明可能な埋め込みを生成し、意味的類似性に基づいてリtrieバル意思決定を明確に解釈可能にした。
• 共同画像・テキスト生成と埋め込み最適化を通じて、ユーザーのフィードバックおよびカスタマイズ意図を効果的に捉えた。