[논문 리뷰] Aggregation and Finetuning for Clothes Landmark Detection

Tzu-Heng Lin|arXiv (Cornell University)|2020. 05. 01.

Anomaly Detection Techniques and Applications참고 문헌 13인용 수 4

한 줄 요약

이 논문은 옷 랜드마크 검출을 위한 집계 및 미세조정 프레임워크를 제안하며, 옷 종류 간 의미적으로 유사한 랜드마크를 그룹화하고 카테고리별로 특화된 모델을 미세조정하여 성능을 향상시킵니다. 이 방법은 DeepFashion2 테스트 세트에서 0.615 AP를 기록하여 기존 방법보다 뚜렷하게 뛰어난 성능을 달성합니다.

ABSTRACT

Landmark detection for clothes is a fundamental problem for many applications. In this paper, a new training scheme for clothes landmark detection: $ extit{Aggregation and Finetuning}$, is proposed. We investigate the homogeneity among landmarks of different categories of clothes, and utilize it to design the procedure of training. Extensive experiments show that our method outperforms current state-of-the-art methods by a large margin. Our method also won the 1st place in the DeepFashion2 Challenge 2020 - Clothes Landmark Estimation Track with an AP of 0.590 on the test set, and 0.615 on the validation set. Code will be publicly available at https://github.com/lzhbrian/deepfashion2-kps-agg-finetune .

연구 동기 및 목표

• 높은 랜드마크 수와 옷 종류 간 데이터 불균형으로 인한 옷 랜드마크 검출 성능 저하 문제를 해결한다.
• 다양한 옷 종류 간 랜드마크의 균일성을 조사하여 일반화 능력과 학습 효율을 향상시킨다.
• 과적합을 줄이고 특히 자원이 부족한 옷 종류에 대해 검출 정확도를 향상시키는 학습 체계를 개발한다.
• 특히 자원이 부족한 카테고리에서 최신 기준 성능을 달성한다.
• 객체 검출 정확도가 옷 랜드마크 검출에서 중요한 제약 요소임을 입증한다. 인간 자세 추정과는 달리 이는 랜드마크 검출에서 중요한 요소이다.

제안 방법

• 13종의 옷 종류에서 유도된 294개의 개별 랜드마크를 공통 정의(예: 상의와 드레스의 칼라)를 기반으로 의미적으로 유사한 81개의 그룹으로 집계한다.
• 집계된 81개의 랜드마크를 기반으로 단일 유니버설 키포인트 검출기를 훈련시켜 데이터 효율성과 수렴 속도를 향상시킨다.
• 각 개별 옷 종류의 데이터만을 사용하여 카테고리별 특화된 미세조정을 적용하여 자원이 부족한 클래스의 검출 정확도를 향상시킨다.
• 이중 단계 검출 파이프라인을 사용한다: 먼저 하이브리드 태스크 캐스케이드 검출기(ResNeXt-101-64x4d)로 옷 인스턴스를 검출하고, 그 다음 HRNet-w48 키포인트 헤드로 랜드마크를 검출한다.
• 훈련 및 추론 중 수평 반전 데이터 증강을 적용하여 정확도를 향상시킨다.
• 모델 앙상블 및 분석 실험을 통해 파이프라인 내 각 구성 요소의 기여도를 검증한다.

실험 결과

연구 질문

• RQ1 제안된 집계 및 미세조정 기법은 DeepFashion2 벤치마크에서 최신 기준 기법과 비교해 어떻게 성능을 냅니까?
• RQ2 옷 인식에서 객체 검출 성능이 랜드마크 검출 정확도에 얼마나 큰 제약을 미치는가?
• RQ3 의미적으로 유사한 랜드마크의 집계가 모델의 일반화 능력과 수렴 속도 향상에 얼마나 효과적인가?
• RQ4 카테고리별 특화된 미세조정이 자원이 부족한 옷 종류에서 성능 향상에 뚜렷한 기여를 하는가?
• RQ5 각 구성 요소(집계, 미세조정, 데이터 증강)가 최종 성능 향상에 기여하는 정도는 어느 정도인가?

주요 결과

• 제안된 방법은 DeepFashion2 테스트 세트에서 0.615 AP, 테스트 세트에서 0.590 AP를 기록하여 2020년 DeepFashion2 챌린지 - 옷 랜드마크 추정 트랙에서 1등을 차지했습니다.
• 분석 실험 결과, 집계로 인해 AP가 0.003 증가(0.556에서 0.559로), 더 나은 객체 검출기로 전환하면 AP가 0.02 증가(0.559에서 0.579로)했습니다.
• 미세조정 전략이 가장 큰 기여를 했으며, AP를 0.584에서 0.612로 끌어올려 데이터 불균형 문제 해결의 효과를 입증했습니다.
• 성능 향상은 자원이 극히 부족한 카테고리에서 가장 두드러졌습니다: 스윙은 0.470에서 0.576 AP로, 스윙 드레스는 0.586에서 0.686 AP로 향상되었습니다.
• 객체 검출이 주요 제약 요소로 밝혀졌습니다. 진짜 박스를 사용할 경우 AP는 0.652로 상승했지만, 모델이 생성한 박스를 사용할 경우 0.579로 낮아져 뚜렷한 격차가 있었습니다.
• 개선에도 불구하고 극도로 자료가 부족한 카테고리(예: 숏슬리브 아웃웨어, 543개의 훈련 샘플)는 성능 향상이 미미했으며(0.382에서 0.386 AP로), 현재 방법의 극한의 데이터 부족 상황에서의 한계를 보여주었습니다.