[논문 리뷰] Progressive Fashion Attribute Extraction

Sandeep Singh Adhikari, Sukhneer Singh외 2명|arXiv (Cornell University)|2019. 06. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 7인용 수 6

한 줄 요약

이 논문은 공유된 기본 ResNet 백본과 개별 속성에 대한 분기형 헤드 네트워크를 사용하여 패션 속성 추출을 위한 점진적 훈련 프레임워크를 제안한다. 이는 희박하고 불완전한 레이블이 존재하는 환경에서도 효율적인 다중 클래스 분류를 가능하게 하며, 개별 속성 모델보다 우수한 성능을 보이며 다중 레이블 분류 성능을 따라가지만 누락된 레이블에 대해 강건하고 모델 크기와 훈련/추론 시간을 크게 줄인다.

ABSTRACT

Extracting fashion attributes from images of people wearing clothing/fashion accessories is a very hard multi-class classification problem. Most often, even catalogues of fashion do not have all the fine-grained attributes tagged due to prohibitive cost of annotation. Using images of fashion articles, running multi-class attribute extraction with a single model for all kinds of attributes (neck design detailing, sleeves detailing, etc) requires classifiers that are robust to missing and ambiguously labelled data. In this work, we propose a progressive training approach for such multi-class classification, where weights learnt from an attribute are fine tuned for another attribute of the same fashion article (say, dresses). We branch networks for each attributes from a base network progressively during training. While it may have many labels, an image doesn't need to have all possible labels for fashion articles present in it. We also compare our approach to multi-label classification, and demonstrate improvements over overall classification accuracies using our approach.

연구 동기 및 목표

• 실제 전자상거래 데이터셋에서 희박하고 불완전한 패션 속성 레이블 문제를 해결하기 위해.
• 여러 패션 속성 간 공유 표현을 활용하는 확장성 있고 효율적인 딥러닝 프레임워크를 개발하기 위해.
• 누락되거나 모호한 레이블이 존재하는 상황에서도 미세한 패션 속성의 분류 정확도를 향상시키기 위해.
• 다양한 속성에 대해 수백 개의 개별 모델을 유지하는 데 발생하는 계산 및 구현 오버헤드를 줄이기 위해.
• 다운타임이 없는 업데이트와 효율적인 확장이 가능한 실용적인 속성 추출 시스템의 구현을 가능하게 하기 위해.

제안 방법

• 모든 패션 이미지에 대해 공유된 기본 ResNet 백본을 훈련하고, 각 패션 속성(예: 소매 스타일, 목 디자인 등)에 대해 별도의 분기형 헤드 네트워크를 사용한다.
• 모델은 점진적으로 훈련된다: 기본 네트워크가 고정된 후, 각 속성에 대해 순차적으로 가중치를 미세조정하여, 모든 레이블이 필요로 하지 않는 점진적 학습이 가능하다.
• 훈련 중에는 기본 네트워크가 고정된 후에만 분기형 헤드 가중치만 업데이트되므로 계산 비용을 줄이고 치명적인 기억 상실을 방지한다.
• 다중 레이블 분류와 달리, 부분적인 레이블이 존재하는 이미지에서도 훈련이 가능하다.
• 생산 파이프라인은 Flask, Gunicorn, Nginx를 사용하며, 로드 밸런싱과 다운타임 없는 업데이트를 위한 다중 모델 인스턴스를 운영한다.
• 모델 압축과 공유된 기본 아키텍처 덕분에 모든 속성에 대해 총 디스크 크기와 추론 시간이 감소한다.

실험 결과

연구 질문

• RQ1 희박하거나 누락된 레이블이 존재하는 이미지에서 단일 딥러닝 모델이 다수의 패션 속성을 효과적으로 추출할 수 있는가?
• RQ2 공유 및 분기형 네트워크에서의 점진적 훈련 방식이 다중 레이블 분류 및 개별 속성 모델 대비 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ3 공유된 기본 네트워크가 수백 개의 패션 속성에 걸쳐 모델 크기와 추론 시간을 얼마나 줄일 수 있는가?
• RQ4 다운타임이 없는 업데이트 기능을 갖춘 실시간 패션 속성 추출을 위한 확장성 있고 생산 가능한 시스템을 어떻게 구축할 수 있는가?
• RQ5 점진적 훈련 프레임워크를 새로운 속성을 동적으로 추가할 수 있도록 확장할 수 있는가?

주요 결과

• 점진적 학습 모델은 개별 속성 모델보다 높은 분류 정확도를 달성하며, 다중 레이블 분류 성능과도 맞먹는다.
• 기본 네트워크 고정과 점진적 미세조정 덕분에 개별 모델을 별도로 훈련하는 것보다 훈련 시간을 약 50% 감소시킨다.
• 기본 네트워크를 공유하고 이미지당 한 번의 전방 전파만 수행하므로 추론 시간이 약 40% 감소한다.
• 모델 디스크 크기는 평균 60% 이상 감소한다 — 예를 들어 드레스의 경우 개별 모델은 1120MB를 차지하지만 점진적 모델은 단 450MB만 사용한다.
• 다중 모델 인스턴스를 병행 배포함으로써 다운타임 없는 업데이트를 지원하며, 순차적 모델 버전 관리와 A/B 테스트가 가능하다.
• 로드 밸런싱과 GPU/CPU 추론을 활용해 Azure 인스턴스 여러 대에 효율적으로 확장되며, GPU에서 드레스에 대해 1장당 0.12초의 추론 시간을 기록한다.