[논문 리뷰] Training and challenging models for text-guided fashion image retrieval

Eric Dodds, Jack Culpepper외 1명|arXiv (Cornell University)|2022. 04. 23.

Multimodal Machine Learning Applications인용 수 10

한 줄 요약

이 논문은 긍정 및 부정 레이블을 모두 포함하여 캡션 정확도와 이미지 관련성에 대해 평가할 수 있는, 텍스트 유도 패션 이미지 검색을 위한 새로운 벤치마크인 Challenging Fashion Queries (CFQ) 데이터셋을 소개한다. 또한 다중모달 사전학습의 정렬을 유지하는 잔차 주의 퓨전 기법을 제안하여, 더 나은 특징 정렬과 약한 감독 기반 도메인 적응을 통해 Fashion IQ에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Retrieving relevant images from a catalog based on a query image together with a modifying caption is a challenging multimodal task that can particularly benefit domains like apparel shopping, where fine details and subtle variations may be best expressed through natural language. We introduce a new evaluation dataset, Challenging Fashion Queries (CFQ), as well as a modeling approach that achieves state-of-the-art performance on the existing Fashion IQ (FIQ) dataset. CFQ complements existing benchmarks by including relative captions with positive and negative labels of caption accuracy and conditional image similarity, where others provided only positive labels with a combined meaning. We demonstrate the importance of multimodal pretraining for the task and show that domain-specific weak supervision based on attribute labels can augment generic large-scale pretraining. While previous modality fusion mechanisms lose the benefits of multimodal pretraining, we introduce a residual attention fusion mechanism that improves performance. We release CFQ and our code to the research community.

연구 동기 및 목표

• 기존의 텍스트 유도 패션 검색 벤치마크가 부정 레이블이 부족하고 긍정 레이블에 노이즈가 많다는 한계를 해결하기 위해.
• 캡션 정확도와 이미지 관련성을 분리하여 더 정교한 모델 행동 분석이 가능한 더 견고한 평가 프레임워크를 개발하기 위해.
• 다중모달 사전학습과 도메인 특화 약한 감독을 활용하여 텍스트 유도 패션 이미지 검색 성능을 향상시키기 위해.
• 사전학습 중에 학습된 텍스트와 이미지 특징 간의 정렬을 유지하는 모odal 융합 기법을 설계하여 성능 저하를 방지하기 위해.
• 패션 외의 분야로의 일반화 능력을 입증하기 위해, 비패션 텍스트 유도 검색 데이터셋에서도 평가하기 위해.

제안 방법

• 저자들은 캡션 정확도와 캡션 기반 이미지 유사성에 대해 인간이 레이블링한 긍정 및 부정 레이블을 포함하는 Challenging Fashion Queries (CFQ) 데이터셋을 도입한다.
• iMaterialist-Fashion 데이터셋의 속성 레이블을 사용하여 상대적 캡션을 합성함으로써, 대규모 패션 데이터에서 약한 감독 기반 사전학습을 가능하게 한다.
• CLIP 사전학습에서 기존에 존재하는 정렬을 손상시키지 않고 이미지 및 텍스트 특징을 융합하기 위해 잔차 주의 퓨전 기법을 제안한다.
• 모델은 Fashion IQ 데이터셋에서 CLIP을 미세조정하고, iMaterialist-Fashion의 합성 캡션을 사용하여 추가로 적응함으로써 다중모달 사전학습의 이점을 유지한다.
• 정확도 mAP(캡션 정확도용)과 관련성 mAP(캡션 변화에 따른 이미지 유사성용)의 이중 지표를 사용하여 모델을 평가한다.
• 일부 데이터셋(예: Birds-to-Words, MIT-States)에서도 평가하여 패션 외 분야로의 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 캡션 정확도와 이미지 관련성에 대한 부정 레이블의 포함이 텍스트 유도 패션 이미지 검색 모델 평가에 어떤 영향을 미치는가?
• RQ2 CLIP에서의 다중모달 사전학습이 성능에 기여하는 정도는 어느 정도이며, 모달 융합이 이 이점을 떨어뜨리는가?
• RQ3 속성 레이블을 이용한 약한 감독 기반 사전학습이 완전한 레이블링 없이도 성능 향상에 기여할 수 있는가?
• RQ4 제안된 잔차 주의 퓨전 기법은 기존 융합 방법에 비해 사전학습 정렬을 얼마나 잘 유지하고 있으며, 검색 정확도 향상에 기여하는가?
• RQ5 제안된 방법이 비패션 텍스트 유도 검색 벤치마크에서의 일반화 능력은 어떠한가?

주요 결과

• CFQ 데이터셋은 캡션 정확도와 이미지 관련성을 분리함으로써 더 엄격한 평가를 가능하게 하며, Fashion IQ가 주로 정확도 성분만 평가하고 있음을 드러낸다.
• 제안된 잔차 주의 퓨전 기법은 사전학습 중에 학습된 텍스트와 이미지 특징 간의 정렬을 유지함으로써 CLIP 기준선 대비 성능 향상을 이룬다.
• 다중모달 사전학습이 성능에 가장 큰 기여를 하며, 복잡한 융합 기법의 이점보다도 그 이점이 더 크다.
• Fashion IQ에서의 미세조정과 iMaterialist-Fashion 속성 레이블을 활용한 약한 감독 기반 사전학습이 성능 향상에 기여하며, 특히 희귀하거나 미묘한 속성 변화에 대해 뛰어난 성능을 보인다.
• CFQ에서의 전체 관련성 지표로 38.0 mAP를 달성하여 對해상도 향상 여지가 크다는 것을 시사하지만, 이미 최신 기술 수준(SOTA) 성능을 달성했다.
• 비패션 데이터셋(예: Birds-to-Words, MIT-States)에서도 하이퍼파rameter 조정 없이도 SOTA 또는 near-SOTA 성능을 달성하여 일반화 능력이 뛰어나다는 것을 입증했다.