[논문 리뷰] Learning Tuple Compatibility for Conditional OutfitRecommendation

Xuewen Yang, Dongliang Xie외 4명|arXiv (Cornell University)|2020. 08. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 23인용 수 4

한 줄 요약

이 논문은 패션 아이템 간의 튜플 수준 호환성 학습을 위해 세부 카테고리와 개괄 카테고리 정보를 동시에 모델링하는 혼합 카테고리 주의망(MCAN)을 제안한다. 하드 음성 샘플링을 활용한 튜플 트리플렛 학습을 통해 제어 가능하고 다양한, 순서에 민감하지 않은 추천을 가능하게 하여, 호환성 예측 및 '빈칸 채우기' 과제에서 기존 최고 성능 모델을 뛰어넘는 성능을 보였다. 이는 Polyvore 및 새로운 IQON 데이터셋에서 입증되었다.

ABSTRACT

Outfit recommendation requires the answers of some challenging outfit compatibility questions such as 'Which pair of boots and school bag go well with my jeans and sweater?'. It is more complicated than conventional similarity search, and needs to consider not only visual aesthetics but also the intrinsic fine-grained and multi-category nature of fashion items. Some existing approaches solve the problem through sequential models or learning pair-wise distances between items. However, most of them only consider coarse category information in defining fashion compatibility while neglecting the fine-grained category information often desired in practical applications. To better define the fashion compatibility and more flexibly meet different needs, we propose a novel problem of learning compatibility among multiple tuples (each consisting of an item and category pair), and recommending fashion items following the category choices from customers. Our contributions include: 1) Designing a Mixed Category Attention Net (MCAN) which integrates both fine-grained and coarse category information into recommendation and learns the compatibility among fashion tuples. MCAN can explicitly and effectively generate diverse and controllable recommendations based on need. 2) Contributing a new dataset IQON, which follows eastern culture and can be used to test the generalization of recommendation systems. Our extensive experiments on a reference dataset Polyvore and our dataset IQON demonstrate that our method significantly outperforms state-of-the-art recommendation methods.

연구 동기 및 목표

• 기존의 추천 시스템이 개괄 카테고리 또는 세부 카테고리 정보에만 의존하여 탄력적이지 않고 정확도가 떨어지는 문제를 해결하기 위해.
• 패션 호환성을 아이템 수준이 아닌 튜플 수준(아이템-카테고리 쌍)에서 모델링하여 보다 정밀하고 제어 가능한 추천을 가능하게 하기 위해.
• 아이템 순서에 민감하지 않고 개괄 카테고리 또는 세부 카테고리 쿼리에 대해 민감하게 반응하는 추천 시스템을 개발하기 위해.
• 문화적으로 다양성이 높은 새로운 데이터셋인 IQON을 기여하여 추천 시스템의 평가 및 일반화 테스트를 지원하기 위해.
• 통합된 주의 기반 아키텍처를 통해 시각적 미학과 다중 수준 카테고리 정보를 통합하여 호환성 학습을 향상시키기 위해.

제안 방법

• 세부 카테고리와 개괄 카테고리 정보를 별도의 임베딩 레이어를 사용해 아이템 표현에 인코딩하는 혼합 카테고리 주의망(MCAN)을 제안한다.
• 아이템-카테고리 튜플 간의 호환성을 모델링하기 위해 튜플 트리플렛 학습을 도입한다. 여기서 양성 튜플은 동일한 옷차림에서 유래하고, 음성 튜플은 다른 옷차림에서 샘플링된다.
• 반드시 어려운 음성 예제에 집중하기 위해 반-하드 및 하드 음성 샘플링을 적용하여 호환성 공간의 분류 능력을 향상시킨다.
• 아이템 시퀀스를 카테고리 시퀀스와 정렬하기 위해 카테고리 예측 레이어(CPL)를 통합하여 순서에 영향을 받지 않는 추천을 가능하게 한다.
• 다중 헤드 자기주의 및 교차주의 메커니즘을 활용해 아이템과 카테고리 간의 상호작용을 모델링하여 복잡한 호환성 패턴을 포착한다.
• 개괄 카테고리 또는 세부 카테고리의 부분 입력 튜플에 따라 조건을 설정함으로써 여섯 가지의 다른 추천 과제를 지원하여 다양한 제어 가능한 옷차림 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합된 모델이 세부 카테고리와 개괄 카테고리 정보를 모두 통합하면서도 패션 아이템 간의 호환성을 효과적으로 학습할 수 있는가?
• RQ2 혼합 카테고리 주의의 통합이 순차적 또는 쌍별 모델 대비 추천의 제어 가능성과 다양성 향상에 얼마나 기여하는가?
• RQ3 제안된 MCAN 모델이 특히 문화적으로 다를 수 있는 데이터셋에서 다양한 데이터 분포에 얼마나 잘 일반화되는가?
• RQ4 카테고리 예측 레이어(CPL)의 포함이 옷차림 추천에서 아이템 순서에 대한 강인성을 얼마나 향상시키는가?
• RQ5 하드 음성 샘플링을 통한 튜플 트리플렛 학습이 호환성 예측 성능 향상에 얼마나 효과적인가?

주요 결과

• MCAN은 호환성 예측 및 '빈칸 채우기'(FITB) 과제에서 Polyvore 및 IQON 데이터셋 양쪽에서 기존 최고 성능 모델을 뛰어넘는 성능을 보였다.
• 아이템의 순서가 어떻게 되든 간에 모델은 높은 성능 유지를 보이며, BiLSTM과 같은 순차적 모델과 달리 순서에 민감하지 않음을 입증하였다.
• 카테고리 예측 레이어(CPL)의 포함으로 인해 MCAN은 순서에 영향을 받지 않게 되었으며, 테스트 시 아이템 순서가 학습 시 순서와 다를 경우에도 높은 성능 유지가 가능했다.
• MCAN은 개괄 카테고리 또는 세부 카테고리의 부분 입력을 포함한 여섯 가지 다른 추천 시나리오에서 다양하고 제어 가능한 추천을 생성하였다.
• 목표 아이템의 시각적 및 스타일적으로 호환되는 대체 아이템을 성공적으로 추천하였으며, 동일 카테고리 아이템 중 랜덤 선택보다도 높은 시각적 일관성과 스타일 일치도를 확보하였다.
• 동아시아 문화적 배경에서 수집된 새로운 IQON 데이터셋은 패션 추천 시스템의 일반화 능력과 문화적 다양성 평가에 더 나은 기반을 제공한다.