[논문 리뷰] A Unified Model with Structured Output for Fashion Images Classification

Beatriz Quintino Ferreira, Luís Baía외 2명|arXiv (Cornell University)|2018. 06. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 15인용 수 12

한 줄 요약

이 논문은 시각적 특징을 기반으로 계층적 패션 이미지 카테고리(예: 드레스, 데일리 드레스)와 속성(예: 흰색, 플로럴)을 구조적 출력 방식을 사용해 동시에 예측하는 통합 딥러닝 모델을 제안한다. 후 등(2016)의 작업에 영감을 받아, 대칭성 제거, 계층 구조 전용 레이어 추가, 소통 메커니즘을 강화된 잠재 공간으로 이동시켜 패션 e커머스 플랫폼인 패치포의 카테고리 트리를 처리하도록 소통 메커니즘을 수정함으로써, 단일 엔드 투 엔드 아키텍처로 모든 수준에서 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

A picture is worth a thousand words. Albeit a cliché, for the fashion industry, an image of a clothing piece allows one to perceive its category (e.g., dress), sub-category (e.g., day dress) and properties (e.g., white colour with floral patterns). The seasonal nature of the fashion industry creates a highly dynamic and creative domain with evermore data, making it unpractical to manually describe a large set of images (of products). In this paper, we explore the concept of visual recognition for fashion images through an end-to-end architecture embedding the hierarchical nature of the annotations directly into the model. Towards that goal, and inspired by the work of [7], we have modified and adapted the original architecture proposal. Namely, we have removed the message passing layer symmetry to cope with Farfetch category tree, added extra layers for hierarchy level specificity, and moved the message passing layer into an enriched latent space. We compare the proposed unified architecture against state-of-the-art models and demonstrate the performance advantage of our model for structured multi-level categorization on a dataset of about 350k fashion product images.

연구 동기 및 목표

• 패션 전자상거래에서 다수의 전문화된 모델이 필요로 하는 것을 줄이기 위해 다중 수준 이미지 분류를 단일 엔드 투 엔드 아키텍처로 통합한다.
• 패션 제품 레이블의 계층적 구조(카테고리, 서브카테고리, 속성)를 명시적으로 모델링하여 이미지 분류 성능을 향상시킨다.
• 시각적 특징만을 사용하여 대규모, 불균형적, 길이가 변하는 속성 예측 문제를 해결한다.
• 더 완전하고 일관된 애너테이션을 수동 레이블링보다 더 잘 생성함으로써 제품 검색 및 설명 생성을 향상시킨다.
• 통합 모델이 카테고리 계층의 모든 수준에서 전문화된 모델을 능가할 수 있음을 검증한다.

제안 방법

• 논문은 후 등(2016)의 구조적 출력 모델을 수정한 것으로, 패치포의 다섯 단계 카테고리 트리에 맞게 적응시켰다.
• 소통 메커니즘 레이어를 대칭성을 제거하고, 계층적 의존성을 더 잘 포착하기 위해 강화된 잠재 공간에 위치시켰다.
• 각 개념 수준(카테고리, 서브카테고리, 속성)에 대해 수준별 표현 학습을 보장하기 위해 추가 레이어를 도입하였다.
• 공유된 ResNet 백본을 사용해 특징 추출을 수행한 후, 모든 수준에서의 예측을 동시에 출력하는 통합 예측 헤드를 사용하였다.
• 레이어 관계는 계층을 그래프로 간주하고 부모-자식 제약 조건을 적용한 구조적 예측 프레임워크를 통해 강제로 지키었다.
• 일반화 및 일관성을 향상시키기 위해 계층적 제약 조건을 포함한 교차 엔트로피 손실을 사용해 엔드 투 엔드로 학습하였다.

실험 결과

연구 질문

• RQ1 통합 딥러닝 모델이 전문화된 모델보다 더 높은 성능으로 다중 수준 패션 이미지 카테고리와 속성을 동시에 예측할 수 있는가?
• RQ2 계층적 레이블 구조를 통합할 경우 카테고리 트리의 다양한 수준에서 분류 정확도가 어떻게 향상되는가?
• RQ3 수동 애너테이션에 존재하지 않는 속성을 얼마나 잘 일반화하여 예측할 수 있는가?
• RQ4 통합 아키텍처가 카테고리, 서브카테고리, 속성 예측 간의 일관성을 얼마나 줄이는가?
• RQ5 수정된 소통 메커니즘은 원본 메커니즘 대비 성능 및 내구성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 통합 모델은 모든 수준에서 최신 기술 수준의 전문화된 모델을 능가했으며, 서브카테고리 분류에서 F1@$k 69.19%와 속성 예측에서 F1@$k 70.78%를 기록하였다.
• 모델은 평균적으로 제품당 2.07개의 속성을 예측했으며, 수동 평균 0.96개보다 뚜렷이 높아, 누락된 속성에 대한 효과적인 일반화 능력을 보였다.
• 예측된 카테고리-서브카테고리 또는 카테고리-속성 쌍 중 1% 미만이 일관성 없었으며, 강력한 계층적 일관성을 입증하였다.
• 공유된 ResNet 레이어와 수정된 소통 메커니즘을 갖춘 모델(Ours - final)이 가장 높은 성능을 기록하여 설계 선택의 타당성을 입증하였다.
• 정성적 결과에서는 지식 기반으로 정의되지 않은 시각적으로 타당한 속성(예: 코트에 대해 '긴')을 올바르게 추론함으로써 애너테이션의 완전성을 향상시켰다.
• 모델는 레이블 불균형과 길이가 변하는 속성 예측에 대해 강건성을 보였으며, 정밀도와 재현율 모두 기준 모델을 능가하였다.