[논문 리뷰] Multi-Task Curriculum Transfer Deep Learning of Clothing Attributes

Qi Dong, Shaogang Gong외 1명|arXiv (Cornell University)|2016. 10. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 5

한 줄 요약

이 논문은 다중 작업 학습(Multi-Task Learning)과 단계적 커리큘럼 학습 전략을 결합한 다중 작업 커리큘럼 전이(Multi-Task Curriculum Transfer, MTCT) 딥러닝 프레임워크를 제안한다. 이는 잘 제어된 상점 이미지에서부터 자유도가 높은 실외 이미지로의 전이 성능을 향상시키기 위해 여러 옷차림 특징을 동시에 학습한다. 이 방법은 SOTA(SOTA) 성능을 달성하여 X-Domain 벤치마크에서 FashionNet 대비 mAP_cls 기준 4.51% 향상되었으며, 타겟 데이터가 제한된 조건에서도 뚜렷한 성능 향상을 보였다.

ABSTRACT

Recognising detailed clothing characteristics (fine-grained attributes) in unconstrained images of people in-the-wild is a challenging task for computer vision, especially when there is only limited training data from the wild whilst most data available for model learning are captured in well-controlled environments using fashion models (well lit, no background clutter, frontal view, high-resolution). In this work, we develop a deep learning framework capable of model transfer learning from well-controlled shop clothing images collected from web retailers to in-the-wild images from the street. Specifically, we formulate a novel Multi-Task Curriculum Transfer (MTCT) deep learning method to explore multiple sources of different types of web annotations with multi-labelled fine-grained attributes. Our multi-task loss function is designed to extract more discriminative representations in training by jointly learning all attributes, and our curriculum strategy exploits the staged easy-to-complex transfer learning motivated by cognitive studies. We demonstrate the advantages of the MTCT model over the state-of-the-art methods on the X-Domain benchmark, a large scale clothing attribute dataset. Moreover, we show that the MTCT model has a notable advantage over contemporary models when the training data size is small.

연구 동기 및 목표

• 라벨이 부족한 자유도가 높은 실외 이미지에서 세밀한 옷차림 특징을 인식하는 데 도전하는 것.
• 빛이 잘 드는 청소년 배경의 상점 이미지에서부터 혼잡하고 실제 도시 환경의 스트리트 이미지로의 도메인 전이 성능을 향상시키는 것.
• 다양한 옷차림 특징을 동시에 학습함으로써 상관관계를 활용하고 특징의 구분 능력을 향상시키기 위한 다중 작업 딥 네트워크를 사용하는 것.
• 인지학적 학습 원리에 영감을 얻어 쉬운 예제에서 어려운 예제로 점진적으로 전이하는 커리큘럼 학습 전략을 개발하여 딥 모델 학습의 최적화를 향상시키는 것.
• 특히 타겟 도메인에서 레이블이 적은 조건에서도 뛰어난 성능과 강인성을 보여주는 것.

제안 방법

• MTCT 프레임워크는 여러 옷차림 특징 간 공유되는 특징을 활용하여 표현 학습 성능을 향상시키는 다중 작업 네트워크(MTN)를 사용한다.
• 다양한 특징을 동시에 최적화하기 위해 새로운 다중 작업 손실 함수를 사용하여 모델이 구분 능력 있는 상관관계 특징을 학습하도록 유도한다.
• 쉬운 예제부터 시작하여 점차 어려운 복잡한 샘플로 전이하는 커리큘럼 전이 학습 전략을 도입하여 최적화의 안정성을 높인다.
• 이 커리큘럼 전략은 인지과학에서 영감을 얻었으며, 인간의 학습 방식을 모방하여 점진적으로 과제 난이도를 높인다.
• 약한 레이블이 부여된 웹 데이터(소스 도메인)를 온라인 유통업체에서 확보하고, 최소한의 수동 레이블링을 통해 실외 이미지(타겟 도메인)로 지식을 전이한다.
• 표준 트리플릿 랭킹 손실 대신 t-STE 손실 함수를 사용하여 mAP에서 1.75% 향상된 성능을 달성했다.

실험 결과

연구 질문

• RQ1 도메인 전이가 존재하는 상황에서 다중 작업 학습이 세밀한 옷차림 특징 인식을 위한 표현 학습에 기여하는가?
• RQ2 커리큘럼 학습 전략이 종단간 학습 대비 딥 특징 학습의 최적화 및 일반화 성능을 향상시키는가?
• RQ3 제한된 타겟 도메인 데이터에서 제안된 MTCT 모델의 성능은 어떠한가? 특히 실외 이미지 레이블이 몇 개 뿐인 경우 성능은 어떻게 되는가?
• RQ4 웹에서 확보한 잘 제어된 상점 이미지에서의 지식 전이가 자유도가 높은 스트리트 이미지에서의 특징 인식 성능 향상에 효과적인가?
• RQ5 다양한 손실 함수(예: t-STE vs. 트리플릿 랭킹)가 최종 특징 인식 성능에 미치는 상대적 영향은 무엇인가?

주요 결과

• MTCT 모델은 X-Domain 벤치마크에서 SOTA인 FashionNet 대비 mAP_cls 기준 4.51% 절대 향상된 75.66% 성능을 달성했다.
• MTCT 모델은 DARN 및 DDAN을 모두 초월하였으며, 종단간 학습 기반 모델 대비 mAP_cls 기준 2.05% 향상된 성능을 보였다.
• 전체 데이터셋의 10%에 해당하는 3,676개의 타겟 레이블 이미지만으로도 MTCT는 FashionNet 대비 mAP에서 8.4% 상대 향상된 성능을 기록했다.
• t-STE 손실 함수는 MTCT 네트워크에서 트리플릿 랭킹 손실 대비 mAP에서 1.75% 높은 성능을 보였다.
• 타겟 학습 데이터가 10%로 감소된 상황에서도 강건하고 확장 가능한 성능을 유지하여 자료 부족 상황에서도 뛰어난 성능을 보였다.
• Faster R-CNN 기반의 옷차림 검출기는 상점 이미지에서 90.8%의 리콜을 기록했고, 실외 이미지에서는 71.2%의 리콜을 기록하여 특징 인식 평가에 현실적인 조건을 제공했다.