[논문 리뷰] StreetStyle: Exploring world-wide clothing styles from millions of photos

Kevin Matzen, Kavita Bala외 1명|arXiv (Cornell University)|2017. 06. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 41

한 줄 요약

이 논문은 1500만 장의 인스타그램 사진에서 의류 속성과 스타일 임베딩을 추출함으로써 글로벌 패션 트렌드를 분석하기 위한 딥러닝 프레임워크를 제안한다. 새로운 데이터셋인 StreetStyle-27k를 사용하여 시각적 스타일의 대규모 비지도 군집화를 가능하게 하며, 나이지리아의 게일 또는 부에노스 아이레스에서 월드컵 기간 동안의 주제 의류와 같은 지리적·시간적 트렌드를 드러낸다.

ABSTRACT

Each day billions of photographs are uploaded to photo-sharing services and social media platforms. These images are packed with information about how people live around the world. In this paper we exploit this rich trove of data to understand fashion and style trends worldwide. We present a framework for visual discovery at scale, analyzing clothing and fashion across millions of images of people around the world and spanning several years. We introduce a large-scale dataset of photos of people annotated with clothing attributes, and use this dataset to train attribute classifiers via deep learning. We also present a method for discovering visually consistent style clusters that capture useful visual correlations in this massive dataset. Using these tools, we analyze millions of photos to derive visual insight, producing a first-of-its-kind analysis of global and per-city fashion choices and spatio-temporal trends.

연구 동기 및 목표

• 비정형 소셜 미디어 이미지에서 대규모 시각적 패션 트렌드 탐색을 가능하게 하기 위해.
• 딥러닝과 군집화를 활용해 대규모로 의류 스타일을 측정할 수 있는 기계학습 프레임워크를 개발하기 위해.
• 도시와 계절 간 의류 선택의 지리공간적 및 시간적 패턴을 분석하기 위해.
• 패션 속성 인식을 위한 27,000장의 주석이付け된 이미지가 포함된 공개 데이터셋인 StreetStyle-27k를 구축하기 위해.
• 특정 도시나 지역에 고유한 의류 스타일의 특징을 시각적으로 파악하기 위해.

제안 방법

• 각 이미지당 12개의 의류 속성을 예측하기 위해 StreetStyle-27k 데이터셋에서 심층 합성곱 신경망(CNNs)을 훈련한다.
• CNN 특징을 사용하여 고차원 공간에서 의류 스타일을 표현하는 시각적 임베딩 공간을 학습한다.
• 비지도 군집화(예: 가우시안 믹스 모델)를 적용하여 임베딩 공간에서 시각적으로 일관된 스타일 군집을 탐지한다.
• 시공간 통계를 활용해 시간과 장소에 매우 국한된 군집(예: 계절 또는 이벤트 기반 패션)을 식별한다.
• 각 군집에서 평균 이미지를 생성하여 군집의 해석 가능성을 높인다.
• 지리적 태그와 타임스탬프가 포함된 메타데이터를 활용해 도시와 월 간 트렌드를 분석한다.

실험 결과

연구 질문

• RQ1 의류 스타일은 다양한 도시와 시간에 따라 어떻게 달라지나?
• RQ2 특정 지역이나 글로벌 트렌드를 대표하는 의류 속성은 무엇인가?
• RQ3 특정 장소에서 가장 두드러지게 나타나며 시간적으로 집중된 패션 스타일은 무엇인가?
• RQ4 대규모 이미지 컬렉션에서 의미 있는 스타일 군집을 자동으로 탐지하고 시각화할 수 있는가?
• RQ5 기계학습이 비정형 소셜 미디어 사진에서 신뢰할 수 있고 해석 가능한 패션 트렌드를 얼마나 잘 추출할 수 있는가?

주요 결과

• 남부 아시아와 싱가포르에서는 안경을 착용한 블랙 폴로 셔츠에 강한 지역적 선호가 나타나, 국지적 스타일 트렌드를 반영한다.
• 2014년 6월에서 7월 사이에 부에노스 아이레스, 카라치, 리우데자네이루, 상파울루에서 그래픽 무늬의 노란 티셔츠가 매우 인기였다. 이는 2014년 월드컵과 겹친다.
• 나이지리아의 머리끈인 게일은 라고, 나이지리아에서 주로 발견되며 매우 특징적이고 지역에 국한된 스타일이다.
• 파란 칼라 셔츠, 플라크 셔츠,_blk 티셔츠는 전 세계적으로 전 연도 내내 널리 보급되어 글로벌 패션 스타일을 형성한다.
• 노란 스포츠 유니폼 같은 일부 스타일은 시간적·공간적으로 극도로 집중되어 있으며, 월드컵 같은 주요 이벤트 기간에 peak를 이룬다.
• 유럽의 도시들은 기후적·문화적 차이를 반영해 다른 지역에 비해 겨울 의류 비율이 높다.