[논문 리뷰] Self-supervised Visual Attribute Learning for Fashion Compatibility

Donghyun Kim, Kuniaki Saito외 4명|arXiv (Cornell University)|2020. 08. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 41인용 수 4

한 줄 요약

이 논문은 세 가지 사전 과제를 사용하여 레이블 없이 색상과 텍스처에 민감한 시각적 특징을 학습하는 자기지도 학습 프레임워크 S-VAL을 제안한다: 이미지 색상 히스토그램 예측, 형태가 없는 국소 패치 식별, 그리고 그램 행렬을 통한 전반적 텍스처 패턴 학습. 패션 호환성 및 검색 작업에서 기존의 SSL 방법보다 9.5–16% 향상되었으며, 레이블이 전혀 없는 상황에서도 일부 지도 학습 방법을 능가한다.

ABSTRACT

Many self-supervised learning (SSL) methods have been successful in learning semantically meaningful visual representations by solving pretext tasks. However, prior work in SSL focuses on tasks like object recognition or detection, which aim to learn object shapes and assume that the features should be invariant to concepts like colors and textures. Thus, these SSL methods perform poorly on downstream tasks where these concepts provide critical information. In this paper, we present an SSL framework that enables us to learn color and texture-aware features without requiring any labels during training. Our approach consists of three self-supervised tasks designed to capture different concepts that are neglected in prior work that we can select from depending on the needs of our downstream tasks. Our tasks include learning to predict color histograms and discriminate shapeless local patches and textures from each instance. We evaluate our approach on fashion compatibility using Polyvore Outfits and In-Shop Clothing Retrieval using Deepfashion, improving upon prior SSL methods by 9.5-16%, and even outperforming some supervised approaches on Polyvore Outfits despite using no labels. We also show that our approach can be used for transfer learning, demonstrating that we can train on one dataset while achieving high performance on a different dataset.

연구 동기 및 목표

• 기존 자기지도 학습(SSL) 방법이 형태 불변성과 색상 불변성을 우선시하여 패션 호환성 작업에 부적합하다는 한계를 해결하기 위해.
• 패션 호환성 및 검색에 핵심적인 시각적 속성인 색상과 텍스처를 명시적으로 캡처하는 새로운 SSL 프레임워크를 개발하기 위해.
• 자기지도 학습이 인간이 레이블을 붙이지 않은 패션 관련 작업에서 지도 학습 방법과 비교할 만한 성능을 달성할 수 있음을 입증하기 위해.
• 학습된 특징이 다양한 데이터셋 간에 일반화되어, 서로 다른 패션 벤치마크 데이터셋 간의 효과적인 전이 학습을 가능하게 하기 위해.

제안 방법

• 입력 이미지의 색상 히스토그램을 예측하는 새로운 자기지도 사전 과제를 도입하여 주된 색상 표현을 학습한다.
• 형태가 없는 국소 패치 식별(SLPD)을 적용하여, 동일한 이미지에서 추출한 형태가 없는 작은 패치들을 양성 쌍으로 사용하여 모델이 텍스처와 색상에 집중하도록 유도한다.
• 특징 맵에 대해 계산된 그램 행렬을 사용하여 텍스처 식별(TD)을 적용하여 전반적인 텍스처 패턴을 학습하고, 객체 형태에 대해 불변성을 촉진한다.
• 색상 히스토그램 예측, SLPD, TD의 세 가지 구성 요소를 통합하여 유일한 자기지도 학습 목적 함수로 조합한다.
• 카테고리 수준 또는 속성 수준의 레이블이 전혀 필요 없이, 대조 학습 목적 함수를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• Polyvore Outfits와 DeepFashion 데이터셋에서 선형 분류 및 검색 프로토콜을 기반으로 접근법을 평가한다.

실험 결과

연구 질문

• RQ1 객체의 형태가 주요 단서가 아닐 경우, 자기지도 학습이 색상과 텍스처에 민감한 특징을 학습하는 데 적합하게 조정될 수 있는가?
• RQ2 자기지도 학습 프레임워크가 어떤 레이블도 사용하지 않고 패션 호환성에서 지도 학습 베이스라인을 능가할 수 있는가?
• RQ3 다양한 자기지도 사전 과제가 호환성 및 검색과 같은 후속 패션 작업 성능에 어떻게 영향을 미치는가?
• RQ4 학습된 특징이 한 패션 데이터셋에서 다른 서로 다른 데이터셋으로 얼마나 잘 전이되는가?

주요 결과

• S-VAL은 Polyvore Outfits 패션 호환성 벤치마크에서 기존의 자기지도 학습 방법보다 9.5–16% 향상된 성능을 기록했다.
• DeepFashion In-shop Retrieval 작업에서 S-VAL은 recall@1을 46.5% 향상시키고, recall@10을 81.2% 향상시켜, ImageNet 사전 훈련 기반 베이스라인보다 30퍼센트 포인트 이상 뛰어났다.
• RGB + SLPD + TD의 전체 방법은 DeepFashion에서 recall@1이 46.5%를 기록했으며, 오직 비지도 사전 훈련만을 사용할 때도 지도 학습 트리플릿 손실 기반 베이스라인(63.6% recall@1)을 초월했다.
• Polyvore Outfits에서 훈련된 모델은 Capsule Wardrobes로 잘 일반화되어, 제로샷 전이에서 기존 연구 대비 6–8% 향상된 성능을 기록했다.
• 제거 실험 결과, SLPD와 TD는 색상 불변성이 바람직하지 않은 상황에서 표준 인스턴스 식별(ID)보다 더 효과적인 것으로 나타났다.
• 색상 히스토그램 예측만으로는 최소한의 이점이 있었으며, 이는 형태 불변성을 강제하지 않으며 패션 작업에 있어 덜 효과적임을 시사한다.