[논문 리뷰] Learning Visual Clothing Style with Heterogeneous Dyadic Co-occurrences

Andreas Veit, Balázs Kovács외 4명|arXiv (Cornell University)|2015. 09. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 13인용 수 41

한 줄 요약

이 논문은 이질적인 이원적 공존(예: 아마존 공동구매 데이터를 통한 다른 카테고리의 옷들 간 자주 공존하는 쌍)에서 시각적 스타일 공간을 학습하는 시아모이즈 CNN 프레임워크를 제안한다. 교차 카테고리 간 호환성/비호환성 쌍을 전략적으로 샘플링함으로써, 모델은 잠재 공간 내에서 스타일적으로 호환되는 아이템이 가까이 위치하도록 이미지를 임bedding하게 되며, 이는 통합된 다중 카테고리 의상의 정확한 검색을 가능하게 한다. 성능은 ImageNet 특징 및 비전략적 샘플링 기반 모델보다 뛰어나다.

ABSTRACT

With the rapid proliferation of smart mobile devices, users now take millions of photos every day. These include large numbers of clothing and accessory images. We would like to answer questions like `What outfit goes well with this pair of shoes?' To answer these types of questions, one has to go beyond learning visual similarity and learn a visual notion of compatibility across categories. In this paper, we propose a novel learning framework to help answer these types of questions. The main idea of this framework is to learn a feature transformation from images of items into a latent space that expresses compatibility. For the feature transformation, we use a Siamese Convolutional Neural Network (CNN) architecture, where training examples are pairs of items that are either compatible or incompatible. We model compatibility based on co-occurrence in large-scale user behavior data; in particular co-purchase data from Amazon.com. To learn cross-category fit, we introduce a strategic method to sample training data, where pairs of items are heterogeneous dyads, i.e., the two elements of a pair belong to different high-level categories. While this approach is applicable to a wide variety of settings, we focus on the representative problem of learning compatible clothing style. Our results indicate that the proposed framework is capable of learning semantic information about visual style and is able to generate outfits of clothes, with items from different categories, that go well together.

연구 동기 및 목표

• 세부적인 시각적 유사성 이상의 의미론적 호환성을 포함하는 다양한 의류 카테고리 간의 시각적 스타일 공간을 학습하는 것.
• 세부 특성 또는 광범위한 수동 레이블링에 의존하지 않고 교차 카테고리 호환성을 학습하는 과제를 해결하는 것.
• 다양한 의류 카테고리에 걸쳐 일반화를 향상시키기 위해 이질적인 이원적 공존(예: 공동구매된 아이템)을 사용한 강건한 훈련 전략을 개발하는 것.
• 다른 카테고리 간에 학습된 스타일 공간에서 가장 가까운 이웃을 검색함으로써 체계적인 의상 생성을 가능하게 하는 것.
• 정량적 지표와 인간의 스타일 호환성 인식에 대한 사용자 연구를 통해 모델 성능을 베이스라인과 비교하는 것.

제안 방법

• 프레임워크는 이미지 공간에서 잠재 스타일 공간으로의 특징 변환을 학습하기 위해 시아모이즈 컨volutional 신경망(CNN)을 사용한다. 여기서 호환되는 아이템은 잠재 공간 내에서 가까이 위치하도록 설계된다.
• 훈련 쌍은 이질적인 이원형으로 샘플링되며, 서로 다른 고수준 카테고리(예: 신발과 셔츠)에서 유저 행동 데이터(예: 아마존 공동구매)에서 자주 공존하는 아이템 쌍이다.
• 대비 손실 함수를 사용하여 호환되는 쌍 간의 거리를 최소화하고 비호환 쌍 간의 거리를 최대화함으로써 모델을 훈련시킨다.
• 실제 공존 데이터의 레이블 노이즈를 다루기 위해 강건한 최근접 이웃 검색 방법을 적용하여 신뢰할 수 있는 의상 생성을 가능하게 한다.
• 의상을 생성하기 위해 기준 아이템을 스타일 공간에 쿼리하고, 다른 카테고리에서 가장 가까운 이웃을 검색한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 세부 특성에 의존하지 않고도 교차 카테고리 의류 호환성을 잘 포괄하는 의미 있는 시각적 스타일 공간을 학습할 수 있는가?
• RQ2 이질적인 이원적 공존를 전략적으로 샘플링하는 방식이 무작위 또는 단순한 샘플링 방식보다 호환성 예측 성능을 얼마나 향상시키는가?
• RQ3 학습된 스타일 공간이 알려지지 않은 의류 카테고리로도 얼마나 잘 일반화되는가?
• RQ4 사용자들은 예측된 의상 조합의 호환성에 대해 베이스라인 모델과 비교해 어떻게 평가하는가?
• RQ5 객관적인 호환성 지표 외에 인간의 스타일 호환성 결정에 영향을 주는 요소는 무엇인가?

주요 결과

• 전략적 샘플링을 적용한 제안된 프레임워크는 '함께 구매됨' 공존 데이터에서 82.6%의 AUC를 기록하여, 기존 ImageNet 특징 기반 베이스라인(67.5%)과 비전략적 샘플링 기반 베이스라인을 크게 앞서나갔다.
• '또한 구매됨' 데이터셋에서는 83.1%의 정확도를 기록하여 베이스라인(88.7%)을 능가하지 못했지만, 여전히 강력한 경쟁 성능을 보였다.
• 사용자 연구 결과, 모델은 4개 테스트 케이스 중 2개에서 무작위 선택 및 단순 샘플링 베이스라인을 앞서며 통계적으로 유의미한 선호도를 보였다.
• 학습된 스타일 특징의 전이 가능성은 알려지지 않은 의류 카테고리로의 일반화 능력을 보여주었다.
• 사용자 설문 조사 결과, 스타일 호환성은 의사결정의 유일한 요소가 아님을 확인했으며, 기능성, 시각적 유사성, 개인적 취향 등도 중요한 역할을 한다고 밝혀졌다.