[논문 리뷰] I Want This Product but Different : Multimodal Retrieval with Synthetic Query Expansion

Ivona Tautkutė, T. P. Trzcinski|arXiv (Cornell University)|2021. 02. 17.

Multimodal Machine Learning Applications참고 문헌 45인용 수 4

한 줄 요약

이 논문은 시각적 및 텍스처적 입력을 조합하여 쿼리를 확장하는 합성 이미지를 생성하는 멀티모odal 검색을 위한 SynthTriplet GAN 프레임워크를 제안한다. 새로운 트리플릿 마이닝 전략을 사용하여 임bedding 거리의 최적화를 수행하며, 이는 최신 기술 수준의 검색 성능을 달성하고, 생성된 이미지가 목표 의미와 일치함으로써 설명 가능한 임베딩을 제공한다.

ABSTRACT

This paper addresses the problem of media retrieval using a multimodal query (a query which combines visual input with additional semantic information in natural language feedback). We propose a SynthTriplet GAN framework which resolves this task by expanding the multimodal query with a synthetically generated image that captures semantic information from both image and text input. We introduce a novel triplet mining method that uses a synthetic image as an anchor to directly optimize for embedding distances of generated and target images. We demonstrate that apart from the added value of retrieval illustration with synthetic image with the focus on customization and user feedback, the proposed method greatly surpasses other multimodal generation methods and achieves state of the art results in the multimodal retrieval task. We also show that in contrast to other retrieval methods, our method provides explainable embeddings.

연구 동기 및 목표

• 사용자가 제품 맞춤화를 위해 시각적 및 텍스처적 피드백을 제공하는 멀티모달 검색의 과제를 해결하기 위해.
• 기존 입력을 초월하여 의미적으로 일치하는 합성 이미지를 생성함으로써 검색 정확도를 향상시키기 위해.
• 생성된 이미지와 목표 이미지 간의 의미 유사도를 직접 최적화함으로써, 생성된 이미지, 실제 이미지, 쿼리 입력 간의 명확한 의미 일치를 보장하는 설명 가능한 임베딩을 생성하는 검색 프레임워크를 개발하기 위해.
• 기존의 멀티모달 생성 및 검색 방법들보다 정확도와 관련성 측면에서 뛰어난 성능을 달성하기 위해.

제안 방법

• SynthTriplet GAN 프레임워크는 입력 이미지 및 텍스트 임베딩을 조건으로 하여 멀티모달 쿼리를 확장하는 합성 이미지를 생성한다.
• 새로운 트리플릿 마이닝 전략은 합성 이미지를 앵커로 사용하며, 양성 및 부정 샘플은 실제 목표 이미지와 간섭 이미지에서 유도된다.
• 모델은 합성 이미지와 목표 이미지 간의 임베딩 공간 거리를 최적화하여 간격을 최소화하는 트리플릿 손실 함수를 사용한다.
• 생성자와 판별자를 공동으로 훈련시켜 사용자 피드백을 반영한 현실적이고 의미적으로 일치하는 이미지를 생성한다.
• 생성된 이미지가 부정 예측보다 목표 이미지에 더 가까운 임베딩 공간에 위치하도록 보장하기 위해 대비 학습 목표를 활용한다.
• 최종 임베딩 공간은 해석 가능하도록 설계되었으며, 합성, 실제, 쿼리 입력 간의 명확한 의미 일치를 보여준다.

실험 결과

연구 질문

• RQ1 사용자 피드백과 함께 합성 이미지 생성이 멀티모달 검색 성능을 향상시키는가?
• RQ2 트리플릿 마이닝에서 합성 이미지를 앵커로 사용할 경우 임베딩 품질과 검색 정확도가 어떻게 향상되는가?
• RQ3 제안된 방법이 기존의 생성 및 검색 기반 기준 대비 최신 기술 수준의 결과를 달성할 수 있는가?
• RQ4 학습된 임베딩이 얼마나 설명 가능하고 의미적으로 유의미한가?

주요 결과

• 제안된 방법은 기존의 멀티모달 생성 및 검색 접근 방식보다 뚜렷이 뛰어난 멀티모달 검색 성능을 달성한다.
• 트리플릿 마이닝에서 합성 이미지를 앵커로 사용함으로써 더 정확하고 의미적으로 일치하는 이미지 임베딩을 도출할 수 있다.
• 프레임워크는 설명 가능한 임베딩을 생성하여 의미 유사도 기반으로 검색 결정을 명확히 해석할 수 있도록 한다.
• 공동 이미지-텍스트 생성 및 임베딩 최적화를 통해 사용자 피드백과 맞춤화 의도를 효과적으로 포착한다.