[논문 리뷰] Learning Color Compatibility in Fashion Outfits

Heming Zhang, Xuewen Yang외 4명|arXiv (Cornell University)|2020. 07. 05.

Color Science and Applications참고 문헌 50인용 수 8

한 줄 요약

이 논문은 쌍별 아이템 간 관계를 그래프의 노드로 모델링하여 패션 악세서리의 색상 호환성 학습을 위한 새로운 그래프 기반 프레임워크를 제안한다. 이는 향상된 호환성 예측과 템플릿 탐색을 가능하게 한다. 진짜 레이블과 가짜 레이블 데이터를 함께 사용하는 약한 감독 학습을 통해, 이 방법은 최신 기술 수준(SOTA)의 성능을 달성하며, 색상 정보만을 사용하는 모델도 딥 이미지 특징을 사용하는 모델와 유사한 성능을 보이며, 학습된 색상 호환성 템플릿을 기반으로 맞춤형 추천을 가능하게 한다.

ABSTRACT

Color compatibility is important for evaluating the compatibility of a fashion outfit, yet it was neglected in previous studies. We bring this important problem to researchers' attention and present a compatibility learning framework as solution to various fashion tasks. The framework consists of a novel way to model outfit compatibility and an innovative learning scheme. Specifically, we model the outfits as graphs and propose a novel graph construction to better utilize the power of graph neural networks. Then we utilize both ground-truth labels and pseudo labels to train the compatibility model in a weakly-supervised manner.Extensive experimental results verify the importance of color compatibility alone with the effectiveness of our framework. With color information alone, our model's performance is already comparable to previous methods that use deep image features. Our full model combining the aforementioned contributions set the new state-of-the-art in fashion compatibility prediction.

연구 동기 및 목표

• 패션 악세서리 호환성 예측에서 오랫동안 간과되어 온 색상 호환성의 역할을 해결하기 위해.
• 수작업된 규칙에 의존하지 않고, 패션 데이터에서 직접 색상 호환성 템플릿을 학습하는 데이터 기반 접근법을 개발하기 위해.
• 전체 악세서리 세트를 그래프로 모델링하여 상호 작용 관계에 중점을 두고, 쌍별 점수 대신 상호 관계를 고려함으로써 호환성 예측 성능을 향상시키기 위해.
• 클러스터링과 호환성 예측의 공동 학습을 통해 해석 가능한 색상 호환성 템플릿을 탐색함으로써 맞춤형 패션 추천을 가능하게 하기 위해.

제안 방법

• 각 쌍별 아이템 관계를 노드로 하는 그래프로 패션 악세서리 세트를 모델링하여, GNN이 효과적으로 호환성 정보를 집계할 수 있도록 한다.
• 노드 수준에서의 표현이 아닌 엣지 수준에서의 표현으로 초점을 이동시킨 새로운 그래프 구축 방법을 제안하여, 악세서리 수준의 호환성을 더 잘 포착한다.
• 진짜 이진 레이블과 클러스터링에서 유도된 가짜 레이블 클러스터를 결합한 약한 감독 학습 기반 학습 방식을 사용한다.
• 클러스터링을 학습 루프에 통합하여, 모델 일반화를 향상시키는 의미 있는 인간이 해석할 수 있는 호환성 템플릿을 생성한다.
• 호환성 있는 악세서리 세트에 클러스터링을 적용하여, 유사 색상 또는 대비되는 색상 쌍과 같은 구체적인 색상 호환 패턴을 탐색한다.
• 학습된 호환성 템플릿을 활용하여 쿼리 악세서리의 색상 프로파일에 기반한 개인화된 패션 추천을 수행한다.

실험 결과

연구 질문

• RQ1 딥 이미지 특징을 사용하는 방법들과 비교해 볼 때, 색상 정보만으로도 패션 호환성 예측에서 경쟁적인 성능를 달성할 수 있는가?
• RQ2 수작업된 규칙에 의존하지 않고, 실제 패션 데이터에서 해석 가능한 색상 호환성 템플릿을 어떻게 학습할 수 있는가?
• RQ3 호환성 예측과 클러스터링의 공동 학습이 모델 성능 향상과 템플릿 탐색에 기여하는가?
• RQ4 다양한 색상 호환 패턴(예: 유사 색상 대비 색상)은 학습된 악세서리 클러스터에 어떻게 나타나는가?
• RQ5 학습된 색상 호환성 템플릿을 통해 더 다양한 맞춤형 패션 추천이 가능해지는가?

주요 결과

• 색상 정보만을 사용하는 본 모델가 딥 이미지 특징을 사용하는 이전 최신 기술 수준의 방법들과 유사한 성능를 달성한다.
• 그래프 기반 호환성 학습과 공동 클러스터링을 통합한 전체 모델은 FITB 호환성 예측 작업에서 새로운 최신 기술 수준을 수립한다.
• 학습 과정에 가짜 레이블 클러스터를 통합하면 FITB 정확도가 2% 향상되고, 기존 기준 모델 대비 공동 학습을 통해 6% 향상된다.
• 시각화 결과는 모델이 명확하고 해석 가능한 색상 호환성 템플릿(예: 유사 색상의 악세서리 세트 또는 중성 색상과 대비되는 색상 쌍)을 학습하고 있음을 확인한다.
• 모델은 색상 유사성 외에도 기반 호환성 패턴에 따라 악세서리 세트를 그룹화하여 의미 있는 템플릿 탐색을 성공적으로 수행한다.
• 학습된 색상 템플릿 기반 추천은 더 맞춤형이고 맥락 인식 능력이 뛰어나, 쿼리 악세서리에 따라 유사 색상 또는 대비 색상 조합을 제안한다.