[논문 리뷰] Learning Type-Aware Embeddings for Fashion Compatibility

Mariya I. Vasileva, Bryan A. Plummer외 4명|arXiv (Cornell University)|2018. 03. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 25

한 줄 요약

이 논문은 공통 이미지 임베딩을 유형별 하위공간으로 투영함으로써 패션 아이템 간 유사성과 호환성의 공동 표현을 학습하는 유형 인지 임베딩 모델을 제안한다. 아이템 유형에 따라 호환성 점수를 분리함으로써 이론적 전이 관계를 피하고 다양한 맥락 기반 쿼리를 가능하게 하여, 이전 최고 성능 방법 대비 옷차림 호환성 및 빈칸 채우기 벤치마크에서 3-5% 향상된 성능을 달성한다.

ABSTRACT

Outfits in online fashion data are composed of items of many different types (e.g. top, bottom, shoes) that share some stylistic relationship with one another. A representation for building outfits requires a method that can learn both notions of similarity (for example, when two tops are interchangeable) and compatibility (items of possibly different type that can go together in an outfit). This paper presents an approach to learning an image embedding that respects item type, and jointly learns notions of item similarity and compatibility in an end-to-end model. To evaluate the learned representation, we crawled 68,306 outfits created by users on the Polyvore website. Our approach obtains 3-5% improvement over the state-of-the-art on outfit compatibility prediction and fill-in-the-blank tasks using our dataset, as well as an established smaller dataset, while supporting a variety of useful queries.

연구 동기 및 목표

• 단일 공간 기반 임베딩의 한계를 해결하기 위해, 유형 무관 표현이 전이 클러스터링으로 인해 호환되지 않는 아이템 간의 거리를 가깝게 만들기 때문에 발생하는 문제를 해결한다.
• 유형별 호환성 공간을 학습함으로써, 예를 들어 특정 아이템에 대해 다양한 호환 가능한 대체품을 찾는 것과 같은 복잡한 맥락 기반 패션 쿼리를 가능하게 한다.
• 아이템 유형을 존중하는 통합형 엔드 투 엔드 학습 가능한 모델을 통해 표준 패션 호환성 및 옷차림 완성 작업의 성능을 향상시킨다.

제안 방법

• 이미지 특징과 텍스트 기술 간의 시각-언어적 손실을 사용하여 공통 이미지 임베딩 공간을 학습함으로써, 의미적으로 유사한 아이템이 전역 공간에서 가까이 위치하도록 보장한다.
• 호환성을 위해, 전역 임베딩을 유형별 하위공간으로 매핑하는 학습된 투영이 사용되며, 각 아이템 유형 쌍(예: 상의-신발, 하의-보석)에 대해 별도의 투영이 적용된다.
• 유형별 임베딩 공간에서 일반화된 거리 측도를 사용하여 호환성 점수를 계산함으로써, 세분화되고 맥락에 따라 달라지는 호환성 판단이 가능하다.
• 유사성과 호환성을 동시에 최적화하기 위해 시아미즈 유사 구조와 트리플릿 손실을 사용하여 엔드 투 엔드로 모델을 훈련한다.
• 실제로 다양한 패션 조합을 지원하기 위해, Polyvore에서 수집한 68,306개의 사용자 생성 옷차림으로 구성된 새로운 데이터셋을 구축하였다.
• t-SNE 시각화를 통해 전역 및 유형별 임베딩 공간의 구조를 분석하였으며, 색상 및 형태와 같은 외관 요소에서의 특수화가 드러났다.

실험 결과

연구 질문

• RQ1 통합 임베딩 모델이 아이템 유형의 차이를 고려하면서도 패션 아이템 간의 유사성과 호환성을 동시에 학습할 수 있는가?
• RQ2 유형 인지 투영이 유형 무관 기반 모델 대비 표준 호환성 및 옷차림 완성 벤치마크 성능을 얼마나 향상시키는가?
• RQ3 전역 공간에 비해 유형별 임베딩 공간이 색상, 형태 등 다양한 시각적 특징을 얼마나 특수화하여 인코딩하는가?
• RQ4 기존 모델이 단일 공간 설계로 인해 처리할 수 없었던, 예를 들어 시각적으로 다양하고 호환 가능한 대체품을 찾는 것과 같은 복잡한 기하학적 패션 쿼리를 모델이 지원할 수 있는가?
• RQ5 훈련 및 테스트 세트에 공통 아이템이 전혀 없는 상황에서도 모델이 잘 일반화되는가?

주요 결과

• 제안된 방법은 저자들이 제작한 대규모 데이터셋과 기존의 작은 기준 벤치마크 모두에서 이전 최고 성능 방법 대비 옷차림 호환성 예측에서 5% 향상되고, 빈칸 채우기 옷차림 완성 작업에서 4% 향상된 성능을 달성한다.
• 유형 무관 기반 모델 대비 유의미하게 성능이 뛰어나며, 예를 들어 모자와 모두 호환되는 신발과 상의가 서로 호환되도록 강제하는 비합리적인 전이 관계를 피한다.
• 유형별 임베딩 공간은 서로 다른 시각적 특징을 특수화하여 인코딩한다. 예를 들어 목도어-보석 공간은 형태에 중점을 두는 반면, 전역 공간은 색상에 의해 지배된다. 이는 더 세분화된 호환성 모델링을 가능하게 한다.
• 기존 모델이 단일 공간 설계로 인해 처리할 수 없었던, 특정 아이템에 대해 여러 개의 시각적으로 다채로운 호환 가능한 대체품을 찾는 것과 같은 새로운 유용한 쿼리를 모델이 지원한다.
• 공통 아이템이 전혀 없는 완전히 새로운 옷차림에 대해 테스트해도 성능이 유지되며, 이는 강력한 일반화 능력과 훈련 세트의 겹침 여부보다 테스트 세트의 다양성이 더 중요함을 시사한다.