[논문 리뷰] An Effective Pipeline for a Real-world Clothes Retrieval System

Yang-Ho Ji, HeeJae Jun외 8명|arXiv (Cornell University)|2020. 05. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 4

한 줄 요약

이 논문은 검출, 메트릭 학습 기반 검색, 후처리 기법을 통합한 강건한 세 단계 파이프라인을 제안한다. 가중 상자 병합(WBF)과 특징 병합을 통합함으로써, 이 방법은 DeepFashion2 2020 도전 대회에서 2위를 차지했으며, 테스트 세트에서 Acc@10가 0.854168를 기록하여 대규모 패션 데이터에서 뛰어난 성능을 입증했다.

ABSTRACT

In this paper, we propose an effective pipeline for clothes retrieval system which has sturdiness on large-scale real-world fashion data. Our proposed method consists of three components: detection, retrieval, and post-processing. We firstly conduct a detection task for precise retrieval on target clothes, then retrieve the corresponding items with the metric learning-based model. To improve the retrieval robustness against noise and misleading bounding boxes, we apply post-processing methods such as weighted boxes fusion and feature concatenation. With the proposed methodology, we achieved 2nd place in the DeepFashion2 Clothes Retrieval 2020 challenge.

연구 동기 및 목표

• 대규모 데이터셋에서 실세계 패션 이미지 검색을 위한 강건하고 확장 가능한 파이프라인을 개발하는 것.
• 검출 출력에서 발생하는 노이즈와 일관성 없는 바운딩 박스 문제를 해결하여 검색 정확도를 향상시키는 것.
• 앙상블 학습 및 후처리 기법을 통해 특징 표현을 향상시키는 것.
• 특히 DeepFashion2 2020 의류 검색 도전 대회와 같은 실세계 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 파이프라인은 세 가지 구성 요소로 이루어져 있다: 객체 검출, 메트릭 학습 기반 검색, 그리고 강건성 향상을 위한 후처리.
• 정밀한 의류 바운딩 박스를 생성하기 위해 최신 기술의 다섯 가지 객체 검출기(예: ATSS, Cascade Mask R-CNN)를 사용했다.
• 검색을 위한 분류 가능한 특징 임bedding을 학습하기 위해 글로벌 기술자(전체 기술자, CGD) 조합을 활용한 메트릭 학습 모델을 적용했다.
• 여러 검출기의 예측을 통합하여 일관성 없는 결과를 줄이고 정확도를 향상시키기 위해 가중 상자 병합(WBF)을 적용했다.
• 여러 딥 네트워크에서 유도된 L2 정규화된 임베딩을 병합하여 표현을 풍부화하고 검색 성능을 향상시켰다.
• k-상호재정렬 및 데이터베이스 측면 증강과 같은 후처리 기법을 평가했으며, WBF와 특징 병합만이 효과가 있었다.

실험 결과

연구 질문

• RQ1 노이즈가 많고 다양한 입력을 포함한 대규모 실세계 패션 데이터셋에서 높은 성능을 유지할 수 있는 검색 파이프라인은 어떻게 설계될 수 있는가?
• RQ2 불일치하는 검출 출력이 존재할 경우, WBF 및 특징 병합과 같은 후처리 기법이 얼마나 검색 정확도를 향상시키는가?
• RQ3 실세계 의류 검색 시스템에서 최적의 성능을 내기 위해 어떤 검출 모델과 검색 아키텍처 조합이 가장 적합한가?
• RQ4 PCA 화이트닝 및 쿼리 확장과 같은 일부 후처리 방법은 이론적으로 유리한데도 불구하고 성능 향상에 실패하는 이유는 무엇인가?

주요 결과

• 제안된 파이프라인은 DeepFashion2 2020 테스트 세트에서 Acc@10가 0.854168를 기록하여 도전 대회에서 2위를 차지했다.
• 다섯 개의 검출기로 구성된 WBF₅를 사용할 경우, 앙상블 검색과 결합함으로써 검출 성능이 향상되었으며, Acc@10가 0.869435에서 0.877192로 상승했다.
• WBF₅를 활용해 17개 모델의 임베딩을 병합함으로써 검증 세트에서 Acc@10가 0.888341로 상승했으며, 이는 뚜렷한 성능 향상을 보였다.
• 126만 개의 상자에 대해 k-상호재정렬을 적용했을 때 Acc@10가 0.02 향상되었지만, WBF를 통해 상자 수를 44만 개로 단순화하는 것보다는 성능이 열 劣했다.
• PCA 화이트닝 및 쿼리 확장(QE)은 성능을 떨어뜨렸으며, 이는 이 작업에 대해 전체 차원의 특징 병합이 더 바람직하다는 것을 시사한다.
• 이 방법은 패션 외에도 일반화가 잘 되었으며, 가구, 뷰티 제품, 장난감 등의 시각적 검색 분야에 응용 가능성이 있다.