[논문 리뷰] Visual Fashion-Product Search at SK Planet

Taewan Kim, Seyeong Kim외 4명|arXiv (Cornell University)|2016. 09. 26.

Advanced Image and Video Retrieval Techniques참고 문헌 34인용 수 4

한 줄 요약

이 논문은 SK Planet에서 구동되는 대규모 시각적 패션 제품 검색 시스템을 제시하며, 학습된 패션 속성, 관심 영역(ROI) 검출, 딥 외관 및 색상 특징을 융합하여 유사도 검색 성능을 향상시킨다. LSTM 기반 다중 레이블 프레임워크를 사용해 패션 속성을 순서 분류 문제로 모델링하고, 속성과 시각적 특징에 대한 역인덱스를 활용함으로써 높은 mAP(0.877 at IoU=0.5)와 경쟁 가능한 검색 성능를 달성하며, 의미적 및 시각적 신호를 통해 유사도를 크게 향상시킨다.

ABSTRACT

We build a large-scale visual search system which finds similar product images given a fashion item. Defining similarity among arbitrary fashion-products is still remains a challenging problem, even there is no exact ground-truth. To resolve this problem, we define more than 90 fashion-related attributes, and combination of these attributes can represent thousands of unique fashion-styles. The fashion-attributes are one of the ingredients to define semantic similarity among fashion-product images. To build our system at scale, these fashion-attributes are again used to build an inverted indexing scheme. In addition to these fashion-attributes for semantic similarity, we extract colour and appearance features in a region-of-interest (ROI) of a fashion item for visual similarity. By sharing our approach, we expect active discussion on that how to apply current computer vision research into the e-commerce industry.

연구 동기 및 목표

• 지상 진술 레이블이 없는 임의의 패션 제품 간 의미적 유사도 정의 문제를 해결하기 위해.
• 의미적 및 시각적 특징을 모두 활용해 패션 전자상거래를 위한 확장 가능한 대규모 시각 검색 시스템을 구축하기 위해.
• 패션 속성을 딥 외관 및 색상 특징과 통합하여 검색 정확도를 향상시키기 위해.
• 시퀀스 모델링(LSTM)의 응용이 다중 레이블 패션 속성 분류에서 더 나은 의미적 이해를 가능하게 하는지 탐구하기 위해.
• 가이드된 패션 카테고리 정보가 거짓 양성률를 감소시키고 ROI 검출 성능를 향상시키는 데 기여하는지 보여주기 위해.

제안 방법

• 19개의 패션 카테고리에 걸쳐 90개 이상의 속성을 포함하는 대규모 패션 속성 데이터셋을 구축하며, 각 제품에 대해 ROI를 함께 레이블링한다.
• VGG16과 같은 사전 훈련된 모델 대신, 패션 속성 인식을 위한 특수한 이미지 인코더를 사용한다.
• 다중 레이블 분류를 순서 분류 작업으로 간주하여, 패션 속성 간 종속성을 암묵적으로 학습하는 LSTM 기반 순서 모델을 훈련한다.
• 스케일러블한 대규모 검색을 가능하게 하기 위해 패션 속성과 시각적 특징에 대한 역인덱싱 체계를 사용한다.
• 사전 훈련된 GoogleNet(inception4 및 inception5 레이어)의 ROI 활성화 맵에서 외관 특징을 추출하고, 임계값 기반 이진화를 통해 스케일러블한 검색을 구현한다.
• HSV 히스토그램 박스를 사용해 색상 특징을 추출하고, 가중치 거리 측정법을 통해 외관 특징와 결합하여 최종 유사도 스코어를 산정한다.

실험 결과

연구 질문

• RQ1 패션 속성 간 종속성을 효과적으로 모델링하면 다중 레이블 분류 성능가 향상될 수 있는가?
• RQ2 가이드된 패션 카테고리 정보는 ROI 검출 정확도를 얼마나 향상시키고 거짓 양성률를 감소시키는가?
• RQ3 딥 신경망 활성화 맵에 대한 단순 임계값 기반 이진화가 스케일러블한 인덱싱을 가능하게 하면서도 경쟁 가능한 검색 성능를 제공할 수 있는가?
• RQ4 의미적 속성과 시각적 특징을 통합하면 시각적 특징만을 사용할 때보다 검색된 패션 제품의 관련성은 얼마나 향상되는가?
• RQ5 패션 전용 속성 인식에서 표준 사전 훈련된 네트워크 대비 특수한 이미지 인코더를 사용할 경우 어떤 영향을 미치는가?

주요 결과

• LSTM 기반 속성 인식 모델은 패션 속성 간 종속성을 효과적으로 포착하여 독립적 분류기 대비 다중 레이블 분류 성능를 향상시킨다.
• 가이드된 패션 카테고리 정보는 ROI 검출 성능를 크게 향상시키며, IoU=0.5일 때 mAP가 0.877을 기록하여 가이드 없이 사용할 경우 0.849보다 높다.
• GoogleNet을 활용한 외관 특징 추출은 Holidays 벤치마크에서 mAP 0.783을 달성했고, UKB에서 정밀도/재현율이 각각 0.907/0.908을 기록하며, 미세조정 없이도 많은 딥 특징 방법을 능가한다.
• 단순 임계값 기반 이진화를 통해 딥 외관 특징를 이진화하더라도 Holidays 벤치마크에서 mAP가 오직 0.02 감소하여, 성능 손실 최소화로 스케일러블한 인덱싱이 가능하다.
• 패션 속성과 시각적 특징의 통합은 특히 성별, 계절, 스타일과 같은 사용자 의도를 포착함으로써 더 관련성 있는 검색 결과를 도출한다.
• 역인덱싱을 속성에 적용하고 시각적 특징 매칭을 하이브리드 방식으로 결합함으로써 시스템은 300만 장의 이미지 데이터셋에서 실시간 검색을 가능하게 하며, 높은 확장성과 성능를 확보한다.