[논문 리뷰] Joint Visual-Textual Embedding for Multimodal Style Search

Gil Sadeh, Lior Fritz외 2명|arXiv (Cornell University)|2019. 06. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 26인용 수 4

한 줄 요약

이 논문은 다중모달 패션 스타일 검색을 위한 공동 시각-텍스트 임베딩 모델을 제안하며, 이미지 및 텍스트 쿼리를 사용한 직관적인 검색 결과 개선을 가능하게 한다. 새로운 미니배치 매칭 검색( MBMR) 손실을 도입하여 트리플릿 손실을 능가하며, 학습된 속성 필터링과 쿼리 산술을 결합하여 새로운 벤치마크에서 다중모달 평가 지표를 사용해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We introduce a multimodal visual-textual search refinement method for fashion garments. Existing search engines do not enable intuitive, interactive, refinement of retrieved results based on the properties of a particular product. We propose a method to retrieve similar items, based on a query item image and textual refinement properties. We believe this method can be leveraged to solve many real-life customer scenarios, in which a similar item in a different color, pattern, length or style is desired. We employ a joint embedding training scheme in which product images and their catalog textual metadata are mapped closely in a shared space. This joint visual-textual embedding space enables manipulating catalog images semantically, based on textual refinement requirements. We propose a new training objective function, Mini-Batch Match Retrieval, and demonstrate its superiority over the commonly used triplet loss. Additionally, we demonstrate the feasibility of adding an attribute extraction module, trained on the same catalog data, and demonstrate how to integrate it within the multimodal search to boost its performance. We introduce an evaluation protocol with an associated benchmark, and compare several approaches.

연구 동기 및 목표

• 사용자가 색상, 무늬 또는 스타일과 같은 속성을 수정하여 유사한 아이템을 찾는 직관적이고 상호작용적인 검색 개선에 도전한다.
• 이미지와 텍스트 쿼리만을 사용하여 쌍으로 제공된 이전/이후 이미지 데이터가 필요 없이 시각적 이미지의 의미적 조작이 가능한 공동 시각-텍스트 임베딩 공간을 개발한다.
• 약한 감독, 카탈로그 기반 환경에서 표준 트리플릿 손실보다 검색 성능을 향상시키는, 미니배치 매칭 검색(MBMR)이라는 새로운 학습 목표를 설계한다.
• 엔드 투 엔드로 훈련된 속성 추출 모듈을 통합하여 소프트 텍스트 기반 필터링을 통해 다중모달 검색 성능을 향상시키는 효과를 평가한다.
• 시각적 및 텍스트적 관련성을 결합한 다중모달 평가 지표를 포함한 새로운 벤치마크를 구축하여 실제 패션 데이터에서 다양한 검색 방법을 공정하게 비교할 수 있도록 한다.

제안 방법

• 교차 엔트로피 손실을 사용하여 미니배치 내 매칭되는 이미지-텍스트 쌍 간의 코사인 유사도를 최대화하는 새로운 목적 함수인 미니배치 매칭 검색(MBMR)을 사용해 공동 시각-텍스트 임베딩 모델을 훈련한다.
• 모든 제품 이미지와 그 카탈로그 메타데이터(텍스트)가 동일한 벡터 공간에 매핑되는 공통 임베딩 공간을 정의하여, 벡터 산술과 같은 의미적 연산을 가능하게 한다.
• 추가 애너테이션 없이 노이즈가 있는 카탈로그 데이터에서 패션 속성(예: 색상, 무늬)을 추출하기 위해 다중 레이블 속성 분류기를 훈련한다.
• 두 가지 검색 전략을 결합한다: (1) 공통 임베딩 공간에서의 벡터 연산을 통한 쿼리 산술, (2) 예측된 속성을 통한 소프트 필터링을 통해 검색 결과를 개선한다.
• 최종 다중모달 평가 지표로 시각적 및 텍스트적 정규화된 누적 할인 수익률(nDCG) 점수의 기하 평균을 사용한다.
• MBMR 손실과 보조 속성 분류 손실을 포함한 다중 작업 목적 함수로 모델을 엔드 투 엔드로 훈련하여 일반화 및 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 공동 시각-텍스트 임베딩 공간을 통해 이미지 및 텍스트 쿼리만을 사용하여 패션 검색 결과의 효과적이고 직관적인 개선이 가능한가?
• RQ2 제안된 미니배치 매칭 검색(MBMR) 손실이 패션 검색을 위한 분류 가능한 임베딩 공간을 학습하는 데 표준 트리플릿 손실을 능가하는가?
• RQ3 노이즈가 있는 카탈로그 데이터에서 훈련된 엔드 투 엔드 속성 추출 모듈이 다중모달 검색 성능을 얼마나 향상시킬 수 있는가?
• RQ4 쿼리 산술과 소프트 속성 필터링의 조합은 얼마나 높은 품질의 의미적 개선된 검색 결과를 달성하는가?
• RQ5 다중모달 지표(V-nDCG, T-nDCG, MM)를 포함한 새로운 평가 프로토콜은 실제 패션 데이터에서 다양한 다중모달 검색 접근 방식을 안정적이고 공정하게 비교하는 데 효과적인가?

주요 결과

• MBMR 손실은 수렴 속도가 빠르고 성능이 뛰어나, 검증 세트에서 상위 20개 정확도가 5.5%p 향상되었다.
• 쿼리 산술과 소프트 속성 필터링(QA+SAF)의 조합은 0.612의 최고 다중모달 nDCG 점수를 기록하여 개별 방법보다 뚜렷이 뛰어났다.
• 'Color' 쿼리 유형에서 QA+SAF는 V-nDCG 0.621과 T-nDCG 0.591을 기록하여 시각적 및 텍스트적 관련성 간의 균형이 잘 잡혀 있음을 보여주었다.
• 노이즈가 있는 카탈로그 데이터에서만 훈련된 속성 추출 모듈은 신뢰할 수 있는 예측을 생성했으며, 'Neckline'과 'Style' 카테고리에서는 각각 T-nDCG 0.628과 0.563의 높은 점수를 기록했다.
• 제안된 다중모달 평가 지표(MM = √(V-nDCG × T-nDCG))는 다양한 쿼리 유형에서 일관된 결과를 보이며 안정적이고 효과적인 비교 수 Mittel이었다.
• 그림 5의 정성적 분석은 QA+SAF가 복잡한 다중 속성 쿼리에서 개별 방법보다 더 관련성 있고 의미적으로 일관된 결과를 생성함을 확인했다.