[논문 리뷰] Algorithmic clothing: hybrid recommendation, from street-style-to-shop

Yu Qian, P.R. Giaccone외 3명|arXiv (Cornell University)|2017. 05. 26.

Human Pose and Action Recognition참고 문헌 1인용 수 8

한 줄 요약

이 논문은 옷차림 분할을 위한 조건부 랜덤 필드와 특징 표현을 위한 딥 네트워크를 조합하여 콘텐츠 기반의 이원적 패션 추천을 가능하게 하는 하이브리드 시각적 추천 시스템을 제안한다. 패션 블로그에서 확보한 스트리트 스타일 이미지를 전문 지식으로 활용함으로써, 의류 쌍의 공동 발생 행렬을 구축하여 사용자 선호 데이터가 제한된 상황에서도 정확하고 확장 가능한 추천을 가능하게 한다. 이를 통해 탑과 바지, 코트와 스커트와 같은 쌍을 성공적으로 검색함을 입증하였다.

ABSTRACT

In this paper we detail Cortexica's (https://www.cortexica.com) recommendation framework -- particularly, we describe how a hybrid visual recommender system can be created by combining conditional random fields for segmentation and deep neural networks for object localisation and feature representation. The recommendation system that is built after localisation, segmentation and classification has two properties -- first, it is knowledge based in the sense that it learns pairwise preference/occurrence matrix by utilising knowledge from experts (images from fashion blogs) and second, it is content-based as it utilises a deep learning based framework for learning feature representation. Such a construct is especially useful when there is a scarcity of user preference data, that forms the foundation of many collaborative recommendation algorithms.

연구 동기 및 목표

• 사용자 선호 데이터 의존도를 줄임으로써 패션 추천의 쿨스타트 문제를 해결한다.
• 전문가가 선별한 스트리트 스타일 이미지를 오라클로 활용하여 확장 가능한 지식 기반 추천 프레임워크를 개발한다.
• 시각적 특징 학습을 통해 쌍으로 구성된 의류 아이템(예: 탑과 바지)의 콘텐츠 기반 추천을 가능하게 한다.
• 공구 데이터가 아닌 실제 패션 트렌드에서 유래한 의류 공존 분포를 구축한다.
• 다양한 아이템 추천을 지원하고 계절 또는 인구 통계적 트렌드에 적응할 수 있는 유연하고 구현 가능한 시스템을 만든다.

제안 방법

• 패션 전용 분할 및 국소화 작업에 맞추어 미세조정된 사전 학습된 VGG-16 네트워크를 사용한다.
• 완전 컨volutional 네트워크(FCNs)에 이어 조건부 랜덤 필드(CRFs)를 적용하여 정밀한 의류 인스턴스 분할을 수행한다.
• 딥랩에서 아트로스 스페이셜 피ラ미드 풀링(ASPP)을 적용하여 다중 척도 객체 및 맥락 인코딩을 향상시킨다.
• 분할된 의류에서 고차원 시각적 특징을 딥 네트워크를 통해 추출하여 콘텐츠 기반 검색을 수행한다.
• 스트리트 스타일 이미지에서 공동 발생 행렬을 구축하여 시각적 유사성과 스타일 트렌드를 바탕으로 선호되는 의류 쌍을 모델링한다.
• 스트리트 스타일 지식 기반 시스템을 재고 데이터와 통합하여 추천 대상을 유효한 유통업체 제품으로 제한한다.

실험 결과

연구 질문

• RQ1 사용자 행동 데이터가 없는 상황에서 하이브리드 시각적 추천 시스템이 효과적으로 작동하도록 설계할 수 있는가?
• RQ2 스트리트 스타일 이미지가 실제 패션 쌍을 모델링하는 데 신뢰할 수 있는 오라클로 기능할 수 있는가?
• RQ3 딥 러닝 기반 특징 표현이 협업 필터링을 초월해 이원적 패션 추천의 정확도를 향상시킬 수 있는가?
• RQ4 분할과 공존 모델링을 어떻게 조합하여 확장 가능한 콘텐츠 기반 추천을 생성할 수 있는가?
• RQ5 블로그를 통한 실시간 패션 트렌드 사용과 공구 데이터 사용 간 추천 관련성에 미치는 영향은 어떠한가?

주요 결과

• 시스템은 탑과 바지, 코트와 스커트와 같은 쌍의 의류 아이템을 성공적으로 추천하며, 공동 발생 행렬의 공동 빈도 기반으로 순위를 매긴다.
• CRFs와 FCNs의 통합은 의류 분할 정확도를 크게 향상시켜 특징 추출 시 배경 간섭을 줄인다.
• 스트리트 스타일 이미지를 오라클로 활용함으로써 공구 데이터보다 실제 패션 트렌드를 더 정확히 반영할 수 있다.
• 클라우드 플랫폼에서의 확장성과 구현 가능성을 입증하였으며, GPU 가속 딥 러닝을 통한 실시간 추론을 지원한다.
• 하이브리드 접근 방식은 사용자 선호 이력이 아닌 시각적 지식과 전문 지식에 의존함으로써 쿨스타트 문제를 완화한다.
• 시스템은 다중 아이템 추천으로 확장 가능하며, 신경망 기반 함수 근사 기법을 활용해 향후 전반적인 옷장 추천 엔진으로 진화할 잠재력을 지닌다.