[논문 리뷰] Compatibility Family Learning for Item Recommendation and Generation

Yong-Siang Shih, Kai-Yueh Chang외 2명|arXiv (Cornell University)|2017. 12. 02.

Generative Adversarial Networks and Image Synthesis인용 수 26

한 줄 요약

이 논문은 공유 잠재 공간 내에서 학습 가능한 프로토타입을 통해 비대칭적이고 다对다 방식의 아이템 호환성을 모델링하는 호환성 가족 학습 프레임워크를 제안한다. 유연한 투영 호환 거리(Projected Compatibility Distance, PCD) 함수를 도입하고, 이를 메트릭 정규화 조건부 GAN(Metric-regularized Conditional GAN, MrCGAN)과 결합함으로써, 최신 기준 성능을 달성하고 사용자 연구에서 매우 선호되는 호환성 있는 아이템 이미지를 생성한다.

ABSTRACT

Compatibility between items, such as clothes and shoes, is a major factor among customer's purchasing decisions. However, learning "compatibility" is challenging due to (1) broader notions of compatibility than those of similarity, (2) the asymmetric nature of compatibility, and (3) only a small set of compatible and incompatible items are observed. We propose an end-to-end trainable system to embed each item into a latent vector and project a query item into K compatible prototypes in the same space. These prototypes reflect the broad notions of compatibility. We refer to both the embedding and prototypes as "Compatibility Family". In our learned space, we introduce a novel Projected Compatibility Distance (PCD) function which is differentiable and ensures diversity by aiming for at least one prototype to be close to a compatible item, whereas none of the prototypes are close to an incompatible item. We evaluate our system on a toy dataset, two Amazon product datasets, and Polyvore outfit dataset. Our method consistently achieves state-of-the-art performance. Finally, we show that we can visualize the candidate compatible prototypes using a Metric-regularized Conditional Generative Adversarial Network (MrCGAN), where the input is a projected prototype and the output is a generated image of a compatible item. We ask human evaluators to judge the relative compatibility between our generated images and images generated by CGANs conditioned directly on query items. Our generated images are significantly preferred, with roughly twice the number of votes as others.

연구 동기 및 목표

• 간단한 유사성 이상의 비대칭적이고 다양한, 광범위한 아이템 간 호환성을 모델링하는 데 도전하는 것.
• 호환성 레이블링의 데이터 부족 문제를 해결하기 위해 프로토타입을 활용해 압축되고 의미 있는 호환성 공간을 학습하는 것.
• 호환성 모델링과 이미지 합성 과정을 분리함으로써 고품질의 호환성 있는 아이템 이미지를 생성하는 것.
• 실제 데이터셋에서 복잡한 호환성 관계를 포착할 수 있는 기울기 기반, 종단 간(end-to-end) 학습 가능한 시스템을 개발하는 것.

제안 방법

• 시스템은 공유 잠재 공간 내에서 기본 임베딩과 K개의 호환성 프로토타입을 포함하는 각 아이템에 대한 호환성 가족을 학습한다.
• 최소한 하나의 프로토타입이 호환성 있는 아이템에 가까워지고, 비호환성 있는 아이템에는 가까워지지 않도록 보장하는 새로운 기울기 기반의 투영 호환 거리(Projected Compatibility Distance, PCD) 함수를 도입한다.
• 실제 구매/주문 동선을 반영하기 위해 호환성이 방향성을 가지도록 하여 비대칭성을 강제하는 PCD 함수를 설계한다.
• 생성된 이미지를 프로토타입에서 조건화하여 직접 쿼리 아이템에서 조건화하지 않는 메트릭 정규화 조건부 GAN(MrCGAN)을 사용함으로써, 다양성과 현실감을 향상시킨다.
• 생성된 이미지와 그에 해당하는 프로토타입 입력 간의 의미적 유사성을 유지하기 위해 메트릭 손실을 사용해 MrCGAN을 정규화한다.
• 공구매, 공시청, 옷차림 데이터셋에서 종단 간으로 프레임워크를 학습하며, 양성 및 음성 쌍의 균형을 맞추기 위해 데이터 재가중 기법을 적용한다.

실험 결과

연구 질문

• RQ1 학습 가능한 프로토타입 기반 시스템이 아이템 유사성 이상의 광범위하고 비대칭적이며 다양한 호환성을 효과적으로 모델링할 수 있는가?
• RQ2 잠재 공간 내에서 호환성 근접성과 비호환성 회피를 동시에 강제할 수 있는 기울기 기반의 거리 함수를 어떻게 설계할 수 있는가?
• RQ3 쿼리 아이템에서 직접가 아니라 프로토타입에서 이미지를 생성하는 것이 호환성 있는 아이템의 품질과 다양성을 향상시킬 수 있는가?
• RQ4 학습된 호환성 가족이 최신 기준 방법들에 비해 추천 정확도를 얼마나 향상시키는가?
• RQ5 사용자 평가자들은 제안된 MrCGAN가 생성한 이미지와 기준 GAN 모델 간의 호환성을 어떻게 평가하는가?

주요 결과

• 제안된 방법은 Fashion-MNIST+1+2, Amazon 공구매, Amazon 시청/구매, Polyvore의 네 가지 데이터셋에서 아이템 추천 성능이 최신 기준 수준을 달성했다.
• 사용자 연구에서 Amazon 공구매 설문조사에서 MrCGAN가 생성한 이미지가 기준 모델보다 약 두 배 이상의 투표를 확보하여 강한 인간 선호도를 보였다.
• 특히 Amazon 데이터셋에서 랜덤 이미지와의 차이가 두드러지게 나타나, MrCGAN 모델이 현실적이고 호환성 있는 이미지를 유의미하게 더 잘 생성함을 입증했다.
• 호환성 관계가 대칭이 되는 경우(예: Amazon 공구매 및 Polyvore)에도 강건하게 높은 성능 유지를 보이며, 대칭성에 대한 민감도가 낮음을 시사한다.
• 제거 분석 결과, 프로토타입 수(K)를 늘릴수록 성능 향상이 약간 발생하지만, 차원 수가 고정된 상태에서는 효과가 미미하다.
• 메트릭 정규화 항(λₘ)은 생성 품질 향상에 기여하지만, 너무 강하면 추천 정확도에 악영향을 줄 수 있으므로 균형 잡힌 성능을 위해 작은 λₘ 값을 권장한다.