[논문 리뷰] Learning Diverse Fashion Collocation by Neural Graph Filtering

Xin Liu, Yongbin Sun외 2명|arXiv (Cornell University)|2020. 03. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 8

한 줄 요약

이 논문은 의류를 노드로, 그들의 시각적 관계를 간선으로 간주함으로써 패션 콜로케이션을 모델링하는 신경망 기반 그래프 필터링(Neural Graph Filtering) 프레임워크를 제안한다. 이는 다양한 스타일을 지원하는 순서에 영향을 받지 않는 탄력적인 추천을 가능하게 하며, 실제 평가에서 AUC 기준 10퍼센트 이상 향상되고 사용자 선호도가 82.5퍼센트에 이를 정도로 최신 기술 수준(SOTA)을 초월한다.

ABSTRACT

Fashion recommendation systems are highly desired by customers to find visually-collocated fashion items, such as clothes, shoes, bags, etc. While existing methods demonstrate promising results, they remain lacking in flexibility and diversity, e.g. assuming a fixed number of items or favoring safe but boring recommendations. In this paper, we propose a novel fashion collocation framework, Neural Graph Filtering, that models a flexible set of fashion items via a graph neural network. Specifically, we consider the visual embeddings of each garment as a node in the graph, and describe the inter-garment relationship as the edge between nodes. By applying symmetric operations on the edge vectors, this framework allows varying numbers of inputs/outputs and is invariant to their ordering. We further include a style classifier augmented with focal loss to enable the collocation of significantly diverse styles, which are inherently imbalanced in the training set. To facilitate a comprehensive study on diverse fashion collocation, we reorganize Amazon Fashion dataset with carefully designed evaluation protocols. We evaluate the proposed approach on three popular benchmarks, the Polyvore dataset, the Polyvore-D dataset, and our reorganized Amazon Fashion dataset. Extensive experimental results show that our approach significantly outperforms the state-of-the-art methods with over 10% improvements on the standard AUC metric on the established tasks. More importantly, 82.5% of the users prefer our diverse-style recommendations over other alternatives in a real-world perception study.

연구 동기 및 목표

• 기존 패션 추천 시스템이 고정된 입력/출력 길이를 가정하거나 안전하고 반복적인 스타일을 선호함에 따라 유연성과 다양성 부족 문제를 해결한다.
• 사용자별 데이터에 의존하지 않고도 다양한 스타일(예: 유사, 보완)을 지원하는 가변 길이 의류 세트의 패션 콜로케이션을 가능하게 한다.
• 특히 '모노크로믹'과 같은 희귀 스타일에 대해 극심한 데이터 불균형 문제를 해결하기 위해 포칼 손실을 최적화한 스타일 분류를 통해 이를 극복한다.
• 패션 추천의 다양성 평가를 위한 종합적 평가를 지원하기 위해 스타일 기반 태그를 부여한 Amazon Fashion 데이터셋을 재조정한다.

제안 방법

• 의류 품목을 그래프의 노드로 모델링하며, 딥 네트워크에서 추출한 시각적 임베딩을 노드 특성으로 사용하고, 의류 간 관계를 간선 특성으로 표현한다.
• 메시지 전파 과정에서 대칭적이고 순서에 영향을 받지 않는 함수(예: 합 또는 평균 풀링)를 간선 벡터에 적용하여 순서 불변성과 가변 크기의 그래프 처리를 보장한다.
• 간선 중심의 메시지 전파를 수행: 이웃 간선의 정보를 집계하여 간선 표현을 업데이트함으로써 복잡한 호환성 패턴을 포착한다.
• 훈련 중에 빈번한 스타일과 희귀 스타일 모두를 잘 인식할 수 있도록 포칼 손실을 활용한 스타일 분류기 통합.
• 집계된 간선 특성 기반으로 전체 세트의 호환성 점수를 계산하는 호환성 스코어링 헤드를 사용하여 출력 생성의 탄력성을 확보한다.
• 대조 학습과 호환성 손실을 사용해 전체 프레임워크를 엔드 투 엔드로 훈련하며, 분류기 헤드에 포칼 손실을 통한 스타일 인식 감독을 통합한다.

실험 결과

연구 질문

• RQ1 그래프 기반 프레임워크는 고정 템플릿에 의존하지 않고도 가변 길이의 입력 및 출력 세트를 지원하는 탄력적인 패션 콜로케이션을 달성할 수 있는가?
• RQ2 대칭적 간선 연산을 갖는 그래프 신경망이 다양한 입력 순서에 대해 성능과 불변성을 유지하는 정도는 어느 정도인가?
• RQ3 포칼 손실을 활용한 스타일 인식 분류기가 패션 스타일 분포의 극심한 클래스 불균형 문제를 추천 과정에서 얼마나 효과적으로 다룰 수 있는가?
• RQ4 제안된 방법은 기존 SOTA 기반 접근법에 비해 더 다양한 스타일의 패션 콜로케이션을 생성하는가?
• RQ5 다시 정리하고 스타일 태그를 부여한 Amazon Fashion 데이터셋은 패션 추천의 다양성 평가를 위한 신뢰할 수 있는 벤치마크로 기능할 수 있는가?

주요 결과

• 제안된 Neural Graph Filtering 프레임워크는 Polyvore, Polyvore-D, 재조정된 Amazon Fashion 데이터셋의 세 벤치마크에서 표준 AUC 지표 기준으로 10퍼센트 이상의 절대적 향상을 달성했다.
• 실제 환경에서 40명의 사용자 대상 인지 실험에서, 모델이 생성한 다양한 스타일의 추천이 82.5퍼센트의 사용자 선호도를 확보하여 강한 사용자 수용도를 보였다.
• 모델은 데이터 불균형 문제를 효과적으로 처리했으며, 이전에 훈련 데이터에서 부족하게 표현되던 '모노크로믹'과 같은 희귀 스타일의 인식도 포칼 손실 덕분에 향상되었다.
• 프레임워크는 입력 순서와 가변적인 세트 크기에 대해 뛰어난 내재성과 정확도 유지를 보였으며, 다양한 구성 조건에서도 높은 호환성 예측 정확도를 유지했다.
• 사용자 연구 결과는 인구 통계학적 요소를 초월해 일관된 선호도를 보였다: 20~40세 연령대 사용자의 89퍼센트, 남성의 84퍼센트, 여성의 89퍼센트가 모델의 추천을 선호했으며, 이는 광범위한 인기와 관련이 있다.
• Polyvore 및 Amazon Fashion 데이터셋에 대한 시각적 결과는, 시계나 스카프와 같은 도전적인 아이템을 조건으로 삼아도 모델이 다양한 스타일의 일관성 있는 패션 세트를 생성할 수 있음을 확인했다.