[논문 리뷰] A Strong Baseline for Fashion Retrieval with Person Re-Identification Models

Mikołaj Wieczorek, Andrzej Michałowski외 2명|arXiv (Cornell University)|2020. 03. 09.

Face recognition and analysis참고 문헌 10인용 수 13

한 줄 요약

이 논문은 상태의 기술(person re-identification, ReID) 모델을 적응시켜 패션 리트리ieval을 위한 단순하면서도 매우 효과적인 베이스라인을 제안한다. 특히 ResNet50-IBN-A 백본과 4중손실(quadruplet loss)을 사용한다. 단순한 구조임에도 불구하고 Street2Shop(54.8 mAP, 72.9 Acc@20)과 DeepFashion(40.0 Acc@1, 79.0 Acc@20)에서 모두 새로운 최고 성능을 기록하며, ReID 모델을 패션 리트리ieval에 최소한의 아키텍처 수정으로 효과적으로 전이할 수 있음을 보여준다.

ABSTRACT

Fashion retrieval is the challenging task of finding an exact match for fashion items contained within an image. Difficulties arise from the fine-grained nature of clothing items, very large intra-class and inter-class variance. Additionally, query and source images for the task usually come from different domains - street photos and catalogue photos respectively. Due to these differences, a significant gap in quality, lighting, contrast, background clutter and item presentation exists between domains. As a result, fashion retrieval is an active field of research both in academia and the industry. Inspired by recent advancements in Person Re-Identification research, we adapt leading ReID models to be used in fashion retrieval tasks. We introduce a simple baseline model for fashion retrieval, significantly outperforming previous state-of-the-art results despite a much simpler architecture. We conduct in-depth experiments on Street2Shop and DeepFashion datasets and validate our results. Finally, we propose a cross-domain (cross-dataset) evaluation method to test the robustness of fashion retrieval models.

연구 동기 및 목표

• 두 작업 간 강한 유사성에도 불구하고 패션 리트리ieval에 대해 사람 재식별(ReID) 모델을 적응시킬 수 있는지 탐구하기 위해.
• 이전의 더 복잡한 전용 모델들보다 뛰어난 성능을 내는 단순하고 효과적인 패션 리트리ieval 베이스라인을 수립하기 위해.
• 다른 데이터 분포에서의 실제 구현을 시뮬레이션하기 위해 새로운 교차 도메인(교차 데이터셋) 평가 프로토콜을 통해 모델의 강건성을 평가하기 위해.
• ReID에서 패션 리트리ieval로의 전이 학습이 최소한의 아키텍처 수정으로도 상당한 성능 향상을 이끌 수 있음을 보여주기 위해.

제안 방법

• 최첨단 ReID 모델—특히 ResNet50-IBN-A 백본을 가진 RST 모델—을 패션 리트리ieval에 맞게 손실 함수와 학습 전략을 수정하여 적응시켰다.
• 앵커, 양성, 그리고 두 개의 음성 샘플을 비교함으로써 특징의 분리도를 향상시켜 임베딩 품질을 개선하기 위해 4중손실 함수를 사용했다.
• 전역 평균 풀링과 메트릭 학습 헤드를 사용하여 학습된 임베딩 공간에서 이미지 임베딩을 생성했다.
• 추론 후 재정렬 전략을 적용하여 코사인 유사도와 특징 재가중을 통해 상위-k 검색 결과를 개선했다.
• 한 데이터셋(예: DeepFashion)에서 학습하고 다른 데이터셋(예: Street2Shop)에서 테스트함으로써 도메인 간 이동을 시뮬레이션하기 위해 교차 도메인 평가를 수행했다.
• 평가 시 카테고리 편향을 피하기 위해 전체 갤러리에 걸쳐 비제약적 리트리ieval을 수행했다.

실험 결과

연구 질문

• RQ1 도메인과 콘텐츠의 차이가 있음에도 불구하고, 사람 재식별(ReID)을 위해 사전 학습된 모델이 패션 리트리ieval에 효과적으로 적응될 수 있는가?
• RQ2 ReID 모델 기반의 단순하고 최적화되지 않은 아키텍처가 복잡한 전용 패션 리트리ieval 모델들을 초월할 수 있는가?
• RQ3 교차 도메인 설정에서 ReID 기반 모델의 성능가 다양한 데이터 분포에 대해 어떻게 일반화되는가?
• RQ4 4중손실과 재정렬이 패션 리트리ieval의 정확도 향상에 어느 정도 기여하는가?

주요 결과

• 제안된 ReID 기반 베이스라인은 Street2Shop 데이터셋에서 54.8 mAP와 72.9 Acc@20를 기록하여 새로운 최고 성능을 달성했다.
• DeepFashion 데이터셋에서는 40.0 Acc@1과 79.0 Acc@20를 기록하며 이전의 SOTA를 상당한 격차로 뛰어넘었다.
• 이전 SOTA 방법들보다 훨씬 더 낮은 해상도의 이미지를 사용했음에도 불구하고 성능이 뛰어나, 높은 효율성과 강건성을 시사한다.
• 교차 도메인 평가 결과, Street2Shop에서 학습한 모델이 DeepFashion에서 37.7 Acc@1을 기록하여 학습된 표현의 전이 가능성(transferability)을 보여주었다.
• 재정렬 전략은 모든 메트릭에서 성능 향상을 이끌었으며, Street2Shop에서 mAP가 7.5% 상대적 향상되어 상위-k 결과 개선의 가치를 입증했다.
• 4중손실은 삼중손실보다 측정 가능한 성능 향상을 제공했으며, 특히 미세한 구분이 필요한 리트리ieval에서 오분류를 줄이는 데 효과적이었다.