[논문 리뷰] Neural Networks for Fashion Image Classification and Visual Search

Fengzi Li, Shashi Kant외 3명|arXiv (Cornell University)|2020. 05. 17.

Advanced Image and Video Retrieval Techniques참고 문헌 2인용 수 4

한 줄 요약

이 논문은 패션 전자상거래를 위한 이중 딥러닝 접근법을 제안한다: (1) 정확한 패션 제품 이미지 분류를 위한 VGG19 및 Inception V3를 활용한 전이학습, 그리고 (2) 코사인 유사도를 사용한 오토에인코더 기반 시각적 검색을 통한 유사 항목 검색. 주요 기여는 판매자에게는 자동 태깅을, 구매자에게는 시각적 검색을 가능하게 하는 실용적인 파이프라인으로, 제한된 해상도와 클래스 불균형이 존재하는 실제 패션 데이터셋에서 높은 정확도를 달성하였다.

ABSTRACT

We discuss two potentially challenging problems faced by the ecommerce industry. One relates to the problem faced by sellers while uploading pictures of products on the platform for sale and the consequent manual tagging involved. It gives rise to misclassifications leading to its absence from search results. The other problem concerns with the potential bottleneck in placing orders when a customer may not know the right keywords but has a visual impression of an image. An image based search algorithm can unleash the true potential of ecommerce by enabling customers to click a picture of an object and search for similar products without the need for typing. In this paper, we explore machine learning algorithms which can help us solve both these problems.

연구 동기 및 목표

• 판매자가 수작업으로 제품을 태그하는 데서 비롯하는 잘못된 분류 및 검색 가시성 부족 문제를 해결하기 위해.
• 키워드 기반 검색에 의존하는 구매자 측 문제를 해결하기 위해 이미지 기반의 시각적 검색을 가능하게 하기 위해.
• 실제 패션 데이터셋에서 사전 훈련된 CNN을 사용하여 확장 가능하고 정확한 이미지 분류 시스템을 개발하기 위해.
• 오토에인코더와 코사인 유사도를 활용한 유사 제품 검색을 위한 시각적 검색 시스템을 구현하고 평가하기 위해.
• 전자상거래에서 흔한 데이터 불균형과 저해상도 이미지 제약 조건 하에서 모델 성능을 평가하기 위해.

제안 방법

• 패션 제품 이미지(Small) 데이터셋에 대해 사전 훈련된 VGG19 및 Inception V3 모델을 미세조정하여 이미지 분류를 수행한다.
• 전이학습을 활용해 합성곱층에서 특징을 추출하고, 분류를 위해 완전히 연결된 층을 훈련시킨다.
• 에ncoder-디코더 아키텍처를 사용하여 깊은 오토에인코더를 훈련시켜 패션 이미지의 저차원 잠재 표현을 학습한다.
• 시각적 검색 파이프라인에서 이미지 임베딩 간의 코사인 유사도를 적용하여 상위-k개의 가장 유사한 이미지를 검색한다.
• 소수 클래스를 줄이기 위해 데이터 필터링을 구현하고, 데이터 불균형을 완화하기 위해 클래스 재가중치를 적용한다.
• 효율적인 훈련을 위해 GPU/TPU를 활용한 Google Colab을 사용하고, 모델 구현을 위해 TensorFlow를 활용한다.

실험 결과

연구 질문

• RQ1 VGG19 및 Inception V3와 같은 사전 훈련된 CNN이 클래스 불균형이 존재하는 상황에서도 패션 제품 이미지 분류에서 높은 정확도를 달성할 수 있는가?
• RQ2 오토에인코더는 패션 전자상거래의 시각적 검색을 위한 의미 있는 이미지 임베딩을 얼마나 효과적으로 학습하는가?
• RQ3 학습된 임베딩 간의 코사인 유사도가 의미적으로나 시각적으로 유사한 패션 제품을 얼마나 잘 검색하는가?
• RQ4 저해상도 이미지와 데이터 불균형은 이미지 분류 및 시각적 검색 모델의 성능에 어떤 영향을 미치는가?
• RQ5 외부 이미지(예: 웹에서 확보한 사진)를 사용한 시각적 검색이 실제 사용자 쿼리에 일반화되는가?

주요 결과

• Inception V3 모델이 테스트된 아키텍처 중에서 가장 높은 정확도를 기록했으며, 이미지 분류 과업에서 93.7%의 성능을 보였다.
• 오토에인코더 기반 시각적 검색은 의미적으로나 시각적으로 유사한 패션 아이템을 성공적으로 검색했으며, 티셔츠나 귀걸이와 같은 일반 카테고리의 경우 정성적 결과에서 높은 관련성을 보였다.
• 외부 이미지를 쿼리로 사용했을 때도 데이터셋 내 관련 제품을 검색할 수 있는 일반화 능력을 보였다.
• 저해상도 이미지(80×60 픽셀)임에도 불구하고 모델은 뛰어난 성능을 보였으며, 실시간 배포 가능성도 시사했다.
• 데이터 불균형은 여전히 도전 과제였으며, 특히 손목시계(7장 뿐)와 같이 희귀 카테고리의 경우 모델 일반화 능력이 제한되었다.
• 데이터 필터링 및 클래스 재가중치 적용으로 모델의 강건성이 향상되었지만, 소수 클래스의 잘못된 분류 문제는 여전히 지속되었다.