[논문 리뷰] Context-Aware Visual Compatibility Prediction

Guillem Cucurull, Perouz Taslakian외 1명|arXiv (Cornell University)|2019. 02. 10.

Aesthetic Perception and Analysis참고 문헌 37인용 수 9

한 줄 요약

이 논문은 가용성 있는 아이템 간의 관계 정보를 활용하여 임베딩 품질을 향상시키기 위해 시각적 패션 호환성 예측을 위한 맥락 인식 그래프 신경망 모델을 제안한다. 이는 제품 임베딩을 주변 맥락에 따라 조건화함으로써 Polyvore, Fashion-Gen, Amazon 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 추론 시 더 많은 맥락을 사용할수록 정확도가 향상된다.

ABSTRACT

How do we determine whether two or more clothing items are compatible or visually appealing? Part of the answer lies in understanding of visual aesthetics, and is biased by personal preferences shaped by social attitudes, time, and place. In this work we propose a method that predicts compatibility between two items based on their visual features, as well as their context. We define context as the products that are known to be compatible with each of these item. Our model is in contrast to other metric learning approaches that rely on pairwise comparisons between item features alone. We address the compatibility prediction problem using a graph neural network that learns to generate product embeddings conditioned on their context. We present results for two prediction tasks (fill in the blank and outfit compatibility) tested on two fashion datasets Polyvore and Fashion-Gen, and on a subset of the Amazon dataset; we achieve state of the art results when using context information and show how test performance improves as more context is used.

연구 동기 및 목표

• 기존 패션 호환성 모델이 아이템 쌍을 독립적으로 다루며 맥락적 관계를 고려하지 않는 한계를 해결한다.
• 각 제품과 호환되는 아이템의 집합인 관계적 맥락을 임베딩 학습 과정에 통합하여 호환성 예측 성능을 향상시킨다.
• 테스트 시기 동안 주변 정보(맥락)의 양을 변화시켰을 때 모델 성능에 어떤 영향을 미치는지 조사한다.
• 예를 들어 성별 간 패션 스타일 이동에 대한 저항성 등 도메인 이동에 대한 모델의 강건성을 입증한다.
• 그래프 신경망을 통해 맥락적 관계 정보를 통합함으로써 호환성 예측의 새로운 최신 기술 수준을 확립한다.

제안 방법

• 노드가 아이템이고 간선이 호환성을 나타내는 이질적 그래프로 패션 아이템과 그 호환성을 표현한다.
• 이웃 호환 아이템의 특징을 집계함으로써 맥락 인식 노드 임베딩을 계산하기 위해 그래프 컨volutional 인코더를 사용하는 그래프 오토인코더 프레임워크를 사용한다.
• 일반적으로 내적 또는 유사도 함수와 유사한 방식으로, 맥락 조건화된 임베딩을 사용해 아이템 쌍 간의 호환성 점수를 계산하는 디코더를 적용한다.
• 기존에 알려진 호환 쌍에 대한 링크 예측 목표를 사용해 엔드 투 엔드로 모델을 훈련시키며, 재구성 손실을 최적화한다.
• 추론 중에는 각 아이템의 다양한 k-호프 이웃 맥락에 따라 예측을 조건화하여 맥락 깊이가 성능에 미치는 영향을 평가한다.
• 한 성별의 의류에 대해 훈련하고 다른 성별에 대해 테스트하여 도메인 간 일반화를 위해 모델을 적응시킨다. 스타일과 맥락의 이동에 대한 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 호환되는 아이템들로부터의 맥락 정보를 통합함으로써, 쌍별 모델 대비 패션 호환성 예측 성능가 개선되는가?
• RQ2 예를 들어 k-호프 이웃과 같은 주변 맥락의 양을 늘릴수록 호환성 작업에서 모델 성능이 어느 정도 향상되는가?
• RQ3 맥락 인식 모델은 비맥락 기반 기준 대비, 예를 들어 성별 간 패션 스타일 이동과 같은 새로운 도메인에 더 잘 일반화되는가?
• RQ4 제품 그래프 형태의 관계 정보를 사용함으로써 표준 패션 호환성 벤치마크에서 최신 기술 수준 성능를 달성하는가?
• RQ5 맥락을 점진적으로 추가함에 따라, Polyvore, Fashion-Gen, Amazon 데이터셋 등 다양한 데이터셋과 옷차림 완성, 링크 예측 등의 작업에서 모델 성능가 어떻게 변화하는가?

주요 결과

• 모델은 Polyvore의 FITB(공백 채우기) 및 옷차림 호환성 작업에서 최신 기술 수준 성능를 달성하며, k가 0에서 15로 증가함에 따라 AUC가 0.76에서 0.99로 향상된다.
• Fashion-Gen 데이터셋에서 성능은 k가 증가함에 따라 점차 향상되며, k=10 이후에 포화 상태에 도달한다. k=10일 때 '함께 구매한 아이템' 링크 예측 작업에서 AUC는 0.94에 도달한다.
• Amazon 데이터셋에서 모델은 '또한 구매한 아이템' 링크 예측에서 SOTA 성능를 달성하며, k=10일 때 정확도가 97.1%에 도달한다. 이는 k=0 기준선(57.9%)을 크게 능가한다.
• 성별 간 전이 학습에서, k=10인 모델은 여성 의류에 대해 훈련된 후 남성 의류에서 97.1%의 정확도를 기록하며 도메인 이동에 대한 강건성을 입증한다.
• 모델의 성능는 맥락에 매우 민감하다: 바지와 신발의 조합에 대한 예측은 아이템의 맥락에 따라 달라지며, 그림 6에서 보듯이 다른 맥락은 다른 적합한 신발 선택을 이끈다.
• 관계적 맥락의 사용은 모델의 적응성과 일반화 능력을 향상시킨다. 이는 새로운 스타일에 대한 성능 향상과 성별 범주 간 전이 가능성 향상으로 입증된다.