[논문 리뷰] CurlingNet: Compositional Learning between Images and Text for Fashion IQ Data

Youngjae Yu, Seung‐Hwan Lee외 2명|arXiv (Cornell University)|2020. 03. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 23

한 줄 요약

CurlingNet는 패션 이미지 검색을 위한 새로운 이미지-텍스트 조합 모델을 제안하며, 이미지-텍스트 쌍 간의 의미적 차이를 측정하기 위해 두 가지 핵심 구성요소인 Delivery 필터와 Sweeping 필터를 사용한다. 채널별 게이팅과 다중모odal 융합을 활용하여 최신 기술 수준의 성능을 달성하였으며, 테스트 세트에서 평균 Recall@50가 44.35%로 패션-IQ 2019 챌린지에서 2위를 기록하였다.

ABSTRACT

We present an approach named CurlingNet that can measure the semantic distance of composition of image-text embedding. In order to learn an effective image-text composition for the data in the fashion domain, our model proposes two key components as follows. First, the Delivery makes the transition of a source image in an embedding space. Second, the Sweeping emphasizes query-related components of fashion images in the embedding space. We utilize a channel-wise gating mechanism to make it possible. Our single model outperforms previous state-of-the-art image-text composition models including TIRG and FiLM. We participate in the first fashion-IQ challenge in ICCV 2019, for which ensemble of our model achieves one of the best performances.

연구 동기 및 목표

• 자연어 쿼리를 사용한 패션 도메인에서의 제어 가능한 이미지 검색 문제를 해결하기 위해.
• 원본 이미지와 대상 이미지 간의 의미적 차이를 포착하는 효과적인 이미지-텍스트 조합을 학습하기 위해.
• 대상 이미지에서 쿼리 관련 속성을 강조하여 검색 성능을 향상시키기 위해.
• 사용자 조정이 가능한 이미지 검색 및 추천 시스템에 적합한 모델을 개발하기 위해.
• 외부 데이터셋을 사용하지 않고도 Fashion-IQ 벤치마크에서 최상위 성능을 달성하기 위해.

제안 방법

• 사전 훈련된 CNN에서 추출한 이미지 특징과 패션 속성 임베딩을 융합하기 위해 공동 전문가(Collaborative Expert, CE) 게이팅 메커니즘을 사용한다.
• 풍부한 의미적 표현을 위해 전역(평균 풀링), 시간 인식(biGRU), 국소 강화(biGRU-CNN)의 세 단계 텍스트 인코딩 전략을 적용한다.
• 쿼리에 기반하여 임베딩 공간에서 원본 이미지 임베딩을 후보 클러스터로 전이하기 위해 Delivery 필터를 도입한다.
• 채널별 덧셈과 잔여 연결을 통해 쿼리에 특화된 속성을 강조함으로써 대상 임베딩을 개선하기 위해 Sweeping 필터를 구현한다.
• 헤다마드 곱과 연결을 사용한 다중모달 융합을 적용하며, MUTAN 및 MCB와 같은 변형을 통해 앙상블 모델링을 구현한다.
• 패션-200K 및 패션-젠과 같은 최적화된 데이터셋에서의 삼중체 데이터(원본 이미지, 쿼리 텍스트, 대상 이미지)를 사용하여 추가 마진 소프트맥스 손실을 통해 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 어떻게 자연어 쿼리에 대해 두 이미지 간의 의미적 차이 관계를 효과적으로 모델링할 수 있는가?
• RQ2 Delivery 및 Sweeping이라는 이중 경로 네트워크 아키텍처가 기존의 조합 모델을 초월해 속성 인식 기반의 이미지-텍스트 검색을 향상시킬 수 있는가?
• RQ3 채널별 게이팅이 모델이 쿼리 관련 시각적 속성에 집중하는 능력을 얼마나 향상시키는가?
• RQ4 제로샷 및 피셔샷 패션 이미지 검색 환경에서 TIRG 및 FiLM과 같은 최신 기술과 비교해 본다면, 제안된 모델의 성능은 어떠한가?
• RQ5 외부 데이터 없이도 단일 모델 아키텍처가 앙상블 방법을 능가할 수 있는가?

주요 결과

• CurlingNet는 Fashion-IQ 테스트 세트에서 평균 Recall@50가 44.35%를 기록하여 공식 챌린지에서 2위를 차지하였다.
• 단일 모델 버전의 CurlingNet는 검증 분할에서 TIRG 및 FiLM 기반 모델을 모두 앞서며 평균 Recall@50가 34.36%를 달성하였다.
• 앙상블 모델은 드레스의 경우 60.09%, 셔츠의 경우 50.20%, 토프의 경우 62.98%의 Recall@50를 기록하여 다양한 카테고리 간 강력한 일반화 능력을 입증하였다.
• 외부 데이터셋 없이도 모델은 공식 베이스라인(SUM)보다 평균 Recall@50에서 15.84%포인트 높은 성능을 기록하였다.
• 정성적 결과 분석을 통해 모델은 쿼리의 속성(예: 목 둘레, 무늬 등)을 정확히 반영한 이미지를 검색하는 데 성공했으며, 원본 이미지 스타일을 유지하는 데에도 성공하였다.
• 제거 실험을 통해 제안된 Delivery 및 Sweeping 필터가 단순 연결(Curling-concat)에 비해 성능 향상에 크게 기여하는 것으로 확인되었다.