[논문 리뷰] Exploiting Latent Codes: Interactive Fashion Product Generation, Similar Image Retrieval, and Cross-Category Recommendation using Variational Autoencoders

James-Andrew Sarmiento|arXiv (Cornell University)|2020. 09. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 4

한 줄 요약

이 논문은 상호작용 가능한 패션 제품 생성, 유사 이미지 검색, 교차 카테고리 추천을 위한 통합된 변분 오토인코더(VAE)-기반 프레임워크를 제안한다. 학습된 잠복 코드를 활용하여 사용자가 슬라이더를 통해 제품 설계를 제어할 수 있으며, 고정된 에프사플링을 통한 로그우도와 유클리드 거리 측정을 통해 검색을 수행하고, mAP는 최대 0.95, 클러스터링 작업의 F1 스코어는 0.98에 도달하여 높은 성능을 달성한다.

ABSTRACT

The rise of deep learning applications in the fashion industry has fueled advances in curating large-scale datasets to build applications for product design, image retrieval, and recommender systems. In this paper, the author proposes using Variational Autoencoder (VAE) to build an interactive fashion product application framework that allows the users to generate products with attributes according to their liking, retrieve similar styles for the same product category, and receive content-based recommendations from other categories. Fashion product images dataset containing eyewear, footwear, and bags are appropriate to illustrate that this pipeline is applicable in the booming industry of e-commerce enabling direct user interaction in specifying desired products paired with new methods for data matching, and recommendation systems by using VAE and exploiting its generated latent codes.

연구 동기 및 목표

• 사용자 제어 기반의 상호작용형 패션 제품 설계가 가능한 전자상거래 환경에서의 필요성을 충족시키기 위해 속성 슬라이더를 통한 맞춤형 설계를 가능하게 한다.
• VAE에서 학습된 분리 및 정규화된 잠복 표현을 활용하여 패션 카테고리 내 유사도 검색 성능을 향상시킨다.
• 잠복 공간 클러스터링을 통해 사용자가 생성한 제품 개념을 다른 카테고리의 아이템과 매칭시켜 교차 카테고리 패션 추천을 가능하게 한다.
• 단일 VAE 아키텍처가 생성, 검색, 추천이라는 다수의 전자상거래 작업을 동시에 해결할 수 있음을 입증한다.
• 이미지 검색 및 클러스터링 작업에서 잠복 코드 활용 전략 두 가지 — 로그우도 최대화 및 고정 에프사플링 — 의 효과를 평가한다.

제안 방법

• eyewear, footwear, bags 등의 패션 데이터셋에 VAE를 훈련시어 정규화된 연속적인 잠복 공간(평균 μ 및 표준편차 σ)을 학습한다.
• 재파라미터화 기법(z = μ + σ² ⊙ ε, ε ~ N(0,1))을 적용하여 역전파가 가능하고, VAE의 엔드 투 엔드 훈련이 가능하도록 한다.
• 사용자 제어 슬라이더를 통해 잠복 벡터를 보간하거나 수정함으로써 잠복 코드를 활용해 상호작용형 제품 생성을 수행한다.
• 유사 이미지 검색을 두 가지 방법으로 수행한다: (1) 잠복 코드의 로그우도 최대화, (2) 고정 에프사플링된 잠복 벡터 간 유클리드 거리 계산.
• 잠복 코드에 대해 K-means 클러스터링을 수행하고, 클러스터 중심을 활용해 교차 카테고리 추천을 이끌어낸다.
• 동일한 검색 기법을 사용해 다른 카테고리의 클러스터에서 가장 유사한 이미지를 찾아 교차 카테고리 추천을 생성한다.

실험 결과

연구 질문

• RQ1 단일 VAE 아키텍처가 상호작용 가능한 패션 제품 생성, 유사 이미지 검색, 교차 카테고리 추천을 효과적으로 지원할 수 있는가?
• RQ2 잠복 코드 활용 전략의 차이 — 로그우도 최대화 대비 고정 에프사플링에서의 유클리드 거리 — 가 검색 성능에 미치는 영향은 어떠한가?
• RQ3 VAE로 학습된 잠복 코드가 패션 전자상거래 환경에서 의미 있는 클러스터링과 교차 카테고리 추천을 얼마나 잘 지원할 수 있는가?
• RQ4 불균형 데이터 조건 하에서 검색 정확도와 클러스터링 품질 측면에서 이 프레임워크의 성능은 어떠한가?
• RQ5 잠복 공간에서 사용자 제어 속성 조정이 의미적으로 일관되고 시각적으로 타당한 패션 제품 생성을 이끌 수 있는가?

주요 결과

• 고정 에프사플링을 사용한 검색에서 상위 10, 25, 50개의 유사 이미지 검색에 대해 최대 mAP 0.95를 달성했으며, 고정 에프사플링이 로그우도 최대화보다 성능이 뛰어났다.
• 잠복 코드를 기반으로 한 K-means 클러스터링은 불균형 데이터 조건에서도 F1 스코어 최대 0.98을 기록하여 뛰어난 클러스터링 품질을 입증했다.
• 고정 에프사플링 방법은 색상과 무늬 일관성을 바탕으로 파란 빛을 띤 안경과 파란 가방, 신발을 조합하는 등 더 일관된 교차 카테고리 추천을 생성했다.
• 로그우도 최대화는 질감과 색상 유사도를 우선시하는 반면, 고정 에프사플링은 추천에서 구조적 및 속성 수준의 일관성을 강조했다.
• 두 검색 방법 모두 동일한 이미지를 최상위 매칭으로 뽑았지만, 두 번째 및 세 번째 매칭에서 차이를 보이며 각각 다른 검색 행동을 보였다.
• 통합된 VAE 파이프라인은 제품 생성, 검색, 추천 기능을 하나의 아키텍처로 효과적으로 통합하여 전자상거래 시스템에서 다수의 모델이 필요로 하는 것을 줄였다.