[논문 리뷰] A Review of Modern Fashion Recommender Systems

Yashar Deldjoo, Fatemeh Nazary외 5명|arXiv (Cornell University)|2022. 02. 06.

Fashion and Cultural Textiles인용 수 7

한 줄 요약

이 종합 검토는 현대 패션 추천 시스템에 대한 포괄적인 리뷰를 제공하며, 목적(예: 옷차림 추천, 사이즈 예측 등)과 보조 정보 유형(사용자, 항목, 맥락)에 따라 연구를 분류한다. 주요 과제를 규명하고 주요 데이터셋과 평가 지표를 평가하며, 다중모달 학습, 인과 추론, 생성형 AI 및 LLM과의 통합을 포함한 향후 방향을 제시한다.

ABSTRACT

The textile and apparel industries have grown tremendously over the last few years. Customers no longer have to visit many stores, stand in long queues, or try on garments in dressing rooms as millions of products are now available in online catalogs. However, given the plethora of options available, an effective recommendation system is necessary to properly sort, order, and communicate relevant product material or information to users. Effective fashion RS can have a noticeable impact on billions of customers' shopping experiences and increase sales and revenues on the provider side. The goal of this survey is to provide a review of recommender systems that operate in the specific vertical domain of garment and fashion products. We have identified the most pressing challenges in fashion RS research and created a taxonomy that categorizes the literature according to the objective they are trying to accomplish (e.g., item or outfit recommendation, size recommendation, explainability, among others) and type of side-information (users, items, context). We have also identified the most important evaluation goals and perspectives (outfit generation, outfit recommendation, pairing recommendation, and fill-in-the-blank outfit compatibility prediction) and the most commonly used datasets and evaluation metrics.

연구 동기 및 목표

• 높은 제품 전환율과 제한된 제품 설명으로 인해 악화되는 데이터 희소성, 콜드 스타트, 핏 예측과 같은 패션 추천 시스템의 고유한 과제를 해결하기 위함.
• 사용자, 항목, 맥락 등의 측면 정보 유형과 함께 목표(예: 항목 추천, 옷차림 추천, 사이즈 추천, 설명 가능성 등)에 기반한 패션 RS 연구의 체계적 분류 체계를 제공하기 위함.
• 패션 추천 연구에서 가장 널리 사용되는 데이터셋, 평가 지표, 벤치마킹 관행을 규명하고 평가하기 위함.
• 다중모달 표현, 인과 추론, 생성형 AI 및 대규모 언어 모델(LLMs)과의 통합을 포함한 새로운 연구 방향을 부각하기 위함.
• 연구자와 실무자들이 현재의 최첨단 기술 수준을 이해하고 패션 추천 시스템 분야의 열린 문제를 식별할 수 있도록 지원하기 위함.

제안 방법

• 이 논문은 패션 추천 시스템에 대한 체계적인 문헌 검토를 수행하며, 기존 연구를 두 가지 축(1) 추천 목표(예: 옷차림 추천, 코디 추천, 빈칸 채우기 호환성 등)와 (2) 보조 정보 유형(사용자, 항목, 맥락)에 따라 분류한다.
• 컴퓨터 비전, 자연어 처리, 추천 시스템 분야에서 150편 이상의 연구를 종합하여 패션 RS의 발전 과정을 분석하고, 시각적 및 다중모달 표현에 중점을 둔다.
• 주요 벤치마크 데이터셋(예: DeepFashion, Dress Code, Polyvore)과 추천 작업(예: 옷차림 및 항목 추천)에 사용되는 평가 지표(예: 정확도, 정밀도, 재현율, 커버리지)를 분석하고 비교한다.
• 딥 러닝 모델, 특히 CLIP와 같은 시각-언어 모델과 DALL-E와 같은 확산 모델이 패션 표현 학습을 향상시키고 다양한 호환 가능한 옷차림 제안을 생성하는 데 기여하는 방식을 평가한다.
• 프롬프트 엔지니어링을 활용하여 데이터 희소성과 콜드 스타트 문제를 해결하고, 소수의 샘플 또는 제로 샘플 추천을 가능하게 하는 LLM 및 생성형 AI의 통합을 탐색한다.
• 가상 시착 및 AR 기반 시스템의 잠재력과 함께, 신뢰성 있는 시스템을 구축하기 위해 인과 모델 및 해석 가능성 모델의 필요성을 논의한다.

Figure 1. (a) Personalized visual explanation by Chen et al . ( 2019a ) related to region of the fashion image based on user reviews; (b) Explainable outfit recommendation by Lin et al . ( 2020b ) using a neural attentive model; (c) outfit recommendation by Tangseng and Okatani ( 2020a ) , and (d) f

실험 결과

연구 질문

• RQ1 패션 추천 시스템 연구를 분류하기 위해 주로 사용되는 주요 목표와 보조 정보 유형은 무엇인가요?
• RQ2 패션 추천 연구에서 가장 흔히 사용되는 데이터셋과 평가 지표는 무엇이며, 이러한 지표들은 어떤 추천 작업을 지원합니까?
• RQ3 텍스트-이미지 모델과 같은 다중모달 및 교차모달 표현은 패션 항목 및 옷차림 표현 학습을 어떻게 향상시킬 수 있나요?
• RQ4 생성형 AI 및 대규모 언어 모델(LLMs)은 패션 추천에서 데이터 희소성과 콜드 스타트 문제를 어떻게 완화할 수 있나요?
• RQ5 인과적이고 해석 가능한, 상호작용 가능한 패션 추천 시스템을 구축하는 데 있어 핵심 과제와 향후 연구 방향은 무엇인가요?

주요 결과

• 가장 널리 사용되는 추천 목표는 옷차림 추천, 코디 추천, 빈칸 채우기 호환성 예측이며, 옷차림 생성은 주요 벤치마크 작업이다.
• DeepFashion 및 Polyvore와 같은 데이터셋이 널리 사용되며, 정확도와 정밀도 같은 평가 지표가 흔히 보고되지만, 커버리지와 다양성은 여전히 부족한 편이다.
• CLIP 및 ALBEF와 같은 다중모달 모델은 웹 규모의 약한 연결된 텍스트 및 이미지 데이터를 활용하여 애초에 비용이 많이 드는 주석 없이도 제로샷 패션 이해를 가능하게 하여 주석 의존도를 낮춘다.
• DALL-E 및 Stable Diffusion와 같은 생성 모델은 텍스트에서 현실적인 패션 이미지를 생성할 수 있어 새로운 추천 인터페이스와 개인화된 옷차림 생성을 가능하게 한다.
• 대규모 언어 모델(LLMs)은 특히 프롬프트 엔지니어링을 통해 호환성과 스타일 선호도를 추론함으로써 소수의 샘플 또는 제로 샘플 추천에서 강력한 잠재력을 보여준다.
• 인과 모델링과 해석 가능성은 여전히 개발이 부족하지만, 특히 핏 예측과 스타일 호환성 결정에서 신뢰할 수 있는 시스템을 구축하기 위해 필수적이다.

Figure 2. Color extraction example from probabilistic color modelling of clothing items. Courtesy of (Al-Rawi and Beel, 2021 ) .