[논문 리뷰] How To Extract Fashion Trends From Social Media? A Robust Object Detector With Support For Unsupervised Learning

Vijay Gabale, Anand Prabhu Subramanian|arXiv (Cornell University)|2018. 06. 28.

Advanced Neural Network Applications참고 문헌 11인용 수 10

한 줄 요약

이 논문은 소셜 미디어에서 패션 트렌드를 추출하기 위한 강건한 비지도 사전학습 기반 객체 검출 프레임워크인 CDSSD를 제안한다. 60,000장의 비라벨링된 패션 이미지를 활용한 비지도 사전학습과 Open Images V4에서 유래한 8,200장의 라벨링된 이미지에 대한 미세조정을 통해, 2,400장의 테스트 세트에서 mAP 72.7%를 달성하였으며, 다양한 패션 카테고리에서 최신 기술 대비 11–17% 높은 성능을 보였다. 특히 부츠나 핸드백과 같은 소형 물체에 대해 뚜렷한 성능 향상을 보였다.

ABSTRACT

With the proliferation of social media, fashion inspired from celebrities, reputed designers as well as fashion influencers has shortened the cycle of fashion design and manufacturing. However, with the explosion of fashion related content and large number of user generated fashion photos, it is an arduous task for fashion designers to wade through social media photos and create a digest of trending fashion. This necessitates deep parsing of fashion photos on social media to localize and classify multiple fashion items from a given fashion photo. While object detection competitions such as MSCOCO have thousands of samples for each of the object categories, it is quite difficult to get large labeled datasets for fast fashion items. Moreover, state-of-the-art object detectors do not have any functionality to ingest large amount of unlabeled data available on social media in order to fine tune object detectors with labeled datasets. In this work, we show application of a generic object detector, that can be pretrained in an unsupervised manner, on 24 categories from recently released Open Images V4 dataset. We first train the base architecture of the object detector using unsupervisd learning on 60K unlabeled photos from 24 categories gathered from social media, and then subsequently fine tune it on 8.2K labeled photos from Open Images V4 dataset. On 300 X 300 image inputs, we achieve 72.7% mAP on a test dataset of 2.4K photos while performing 11% to 17% better as compared to the state-of-the-art object detectors. We show that this improvement is due to our choice of architecture that lets us do unsupervised learning and that performs significantly better in identifying small objects.

연구 동기 및 목표

• 소셜 미디어의 방대한 사용자 생성 패션 콘텐츠에서 패션 트렌드를 식별하고 추출하는 데 도전하는 것.
• 대규모로 완전히 라벨링된 패션 데이터셋의 부족을 해결하기 위해, 방대한 양의 비라벨링된 소셜 미디어 이미지를 효과적으로 활용할 수 있도록 하는 것.
• 실제 패션 사진에서 흔히 볼 수 있는 소형 및 다양한 패션 아이템(핸드백, 신발, 액세서리 등)에 대한 객체 검출 성능을 향상시키는 것.
• 디자이너가 '빨간 드레스' 또는 '빈티지 핸드백'과 같이 자연어 기반으로 검색할 수 있도록 지원하는 확장 가능한 종단 간 객체 검출 시스템을 개발하는 것.

제안 방법

• 종단 간 훈련과 비지도 사전학습을 지원하는 컬러레이션-디코로레이션 기반 단일 샷 검출 프레임워크(CDSSD)를 채택한다.
• 자기지도 대비 학습 목표를 사용하여 소셜 미디어에서 확보한 60,000장의 비라벨링된 패션 이미지에서 의미 있는 특징 표현을 학습하기 위해 모델을 사전학습한다.
• 다양한 수용 영역을 가진 기본 상자(기본 박스)를 갖는 다중 척도 특징 맵 아키텍처를 사용하여 Open Images V4의 8,200장의 라벨링된 패션 이미지에서 사전학습된 모델을 미세조정한다.
• 객체 크기와 외관의 변동성에 대비한 강건성을 향상시키기 위해, 무작위 자르기, 수평 뒤집기, 색상 왜곡, 기하학적 변형을 포함한 광범위한 데이터 증강 기법을 적용한다.
• 부정 예측 박스 대 양성 예측 박스 비율을 2:1로 설정하여 훈련 중 클래스 불균형을 균형 잡는 조합 손실 함수를 사용한다. 이는 부드러운 L1 국소화 손실과 소프트맥스-교차 엔트로피 신뢰도 손실을 조합한다.
• 중복 예측을 줄이고 최종 검출 출력을 개선하기 위해 비최대 억제(NMS) 후처리 기법을 적용한다.

실험 결과

연구 질문

• RQ1 대규모 비라벨링된 소셜 미디어 패션 이미지에서 비지도 사전학습을 수행할 경우, 자원이 제한된 패션 검출 환경에서 객체 검출기 성능을 크게 향상시킬 수 있는가?
• RQ2 다양한 레이어에서의 특징 맵 융합을 갖는 CDSSD 아키텍처는 기존 SSD 및 YOLO 검출기 대비 소형 패션 물체 검출 정확도를 어떻게 향상시키는가?
• RQ3 다양한 패션 카테고리로 구성된 단일 객체 검출 모델이 여러 패션 아이템 유형으로 일반화할 수 있는 정도는 어느 정도이며, 패션 이미지에 대한 자연어 기반 검색을 가능하게 할 수 있는가?
• RQ4 검출 헤드에 디코로레이션 계층을 통합함으로써, 복잡하고 혼잡한 패션 이미지에서 특징 표현 학습과 국소화 정확도를 향상시킬 수 있는가?
• RQ5 제안된 방법을 통해 소셜 미디어 콘텐츠 전반의 패션 객체 검출 분석을 바탕으로, 색상 선호도나 스타일 조합과 같은 새로운 패션 트렌드를 탐지할 수 있는가?

주요 결과

• 제안된 CDSSD 모델은 패션 이미지 2,400장의 테스트 세트에서 평균 평균 정확도(mAP) 72.7%를 달성하였으며, YOLO 및 SSD와 같은 최신 기술 대비 뚜렷한 성능 우월성을 보였다.
• 여러 패션 카테고리에서 검출 성능이 11%에서 17% 향상되었으며, 특히 부츠, 하이힐, 핸드백과 같은 소형 물체에서 가장 두드러진 성과를 기록했다.
• 60,000장의 비라벨링된 소셜 미디어 패션 이미지에서의 비지도 사전학습을 통해 모델은 강건하고 이식 가능한 특징을 학습할 수 있었으며, 대규모 라벨링 데이터의 필요성을 줄였다.
• 다중 척도 특징 맵 융합과 디코로레이션 업샘플링을 갖춘 CDSSD 아키텍처는 국소화 오차를 감소시키고 유사한 패션 카테고리 간 혼동을 최소화한다.
• 높은 재현율에서도 높은 정밀도를 보이며, 실제 패션 이미지 해석에 있어 강력한 일반화 능력과 신뢰성을 입증했다.
• 프레임워크는 트렌드 분석 기능을 성공적으로 구현하였다: 2015년 팔라조 팬츠의 부상, 2018년 핸드백의 주요 색상으로서 초록색의 부상, 롱 드레스의 밝은 회색 사용 증가, 블랙 진에 대비하여 플럼(보라)이 보완 색상으로 부상한 것 등을 예측하였다.