[논문 리뷰] CRAFT: Complementary Recommendations Using Adversarial Feature Transformer

Cong Phuoc Huynh, Arridhana Ciptadi외 2명|arXiv (Cornell University)|2018. 04. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 6

한 줄 요약

CRAFT는 시각적 공존 패턴을 학습하여 다양하고 상호보완적인 의류 추천을 생성하는 비지도, 적대적 특징 변환 프레임워크를 제안한다. 원본 이미지가 아닌 특징 공간에서 조건부 생성 트랜스포머를 훈련시킴으로써 CRAFT는 인간 평가에서 특히 특징 공간의 저밀도 영역에서 베이스라인을 능가하는 고품질이고 다양한 추천을 생성한다.

ABSTRACT

Traditional approaches for complementary product recommendations rely on behavioral and non-visual data such as customer co-views or co-buys. However, certain domains such as fashion are primarily visual. We propose a framework that harnesses visual cues in an unsupervised manner to learn the distribution of co-occurring complementary items in real world images. Our model learns a non-linear transformation between the two manifolds of source and target complementary item categories (e.g., tops and bottoms in outfits). Given a large dataset of images containing instances of co-occurring object categories, we train a generative transformer network directly on the feature representation space by casting it as an adversarial optimization problem. Such a conditional generative model can produce multiple novel samples of complementary items (in the feature space) for a given query item. The final recommendations are selected from the closest real world examples to the synthesized complementary features. We apply our framework to the task of recommending complementary tops for a given bottom clothing item. The recommendations made by our system are diverse, and are favored by human experts over the baseline approaches.

연구 동기 및 목표

• 라벨이 부여된 공존 데이터에 의존하지 않고 시각적 신호만을 사용하여 다양하고 시각적으로 보완적인 의류 추천을 생성하는 데 도전한다.
• 특징 공간의 저밀도 영역에서 전통적인 협업 필터링 및 최근접 이웃 방법의 한계를 극복한다.
• 실제 세계의 이미지 데이터에서 직접 비지도 방식으로 보완되는 아이템 쌍(예: 상의와 하의)의 공동 분포를 학습하는 프레임워크를 개발한다.
• 이미지 합성 대신 보완되는 아이템의 새로운 특징 표현을 생성함으로써 추천의 다양성과 관련성을 향상시킨다.
• 특히 희귀하거나 빈도가 낮은 쿼리 아이템이 있는 상황에서 전문가 평가를 통해 접근 방식의 효과성을 검증한다.

제안 방법

• CRAFT는 원천 및 대상 아이템의 특징 다양체 간 비선형 변환을 학습하기 위해 적대적 최적화 방식으로 훈련된 조건부 생성 트랜스포머 네트워크를 사용한다(예: 하의에서 상의로의 변환).
• 모델은 쿼리 아이템의 특징 임bedding과 무작위 노이즈 벡터를 입력으로 받아 잠재 공간 내에서 보완되는 아이템의 특징 표현을 생성한다.
• 실제 카탈로그 아이템의 사전 인덱싱된 특징 공간에서 최근접 이웃 검색을 통해 추천을 확보함으로써 추천이 실제이며 시각적으로 기반을 지닌다는 것을 보장한다.
• 적대적 훈련 목표는 특징 공간에서 정의되며, 이미지 생성이 필요 없고 훈련 안정성을 향상시키며 모드 붕괴를 방지한다.
• 공존하는 아이템 쌍이 보완 관계를 나타낸다고 가정하고, 실제 세계의 이미지 데이터에서 프레임워크를 훈련한다.
• 인간 평가 시 개인의 패션 전문가 편향을 보정하기 위해 정규화 기법을 적용하며, 쿼리 아이템과 함께 실제로 착용된 상의를 기준으로 삼는다.

실험 결과

연구 질문

• RQ1 비지도 특징 공간 기반의 생성 모델이 공구매 또는 공시청 데이터에 의존하지 않고 다양하고 보완적인 패션 추천을 생성할 수 있는가?
• RQ2 특징 공간의 저밀도 영역에서 제안된 CRAFT 모델의 성능이 최근접 이웃 및 기존 베이스라인 방법과 비교해 어떻게 되는가?
• RQ3 패션 전문가가 CRAFT가 생성한 추천을 다른 경쟁 방법의 추천보다 얼마나 선호하는가?
• RQ4 CRAFT의 조건부 생성 트랜스포머가 희귀하거나 드문 아이템을 포함한 다양한 쿼리 아이템 밀도에 잘 일반화되는가?
• RQ5 특징 공간에서의 적대적 훈련이 추천의 다양성과 관련성을 향상시키며 안정성을 유지하고 모드 붕괴를 방지할 수 있는가?

주요 결과

• CRAFT는 인간 전문가 수용률 70.3% ± 1.4%를 기록하여 최근접 이웃 베이스라인(66.5% ± 1.4%) 및 기타 베이스라인을 상당히 앞서며 최고 성능을 보였다.
• 고밀도 영역(예: 파란 청바지와 같은 인기 있는 하의)에서는 CRAFT와 최근접 이웃 방법이 유사한 성능을 보였으며, 겹치는 신뢰구간을 가졌다.
• 중간 및 저밀도 영역(예: 드문 패atters의 스커트)에서는 CRAFT는 일관된 성능 유지를 보였지만, 최근접 이웃 베이스라인은 심각하게 성능이 떨어져 무작위 베이스라인 수준에 가까워졌다.
• 중간 및 저밀도 영역에서 CRAFT와 최근접 이웃 방법 간의 성능 격차는 통계적으로 유의미했으며, CRAFT의 일반화 능력을 입증했다.
• 쿼리 의상에서 실제 착용된 상의를 추천 세트에 포함시킴으로써 신뢰성 있는 정규화가 가능해져 전문가 편향이 수용률 비교에 영향을 주지 않도록 보장했다.
• 희귀 쿼리 아이템에 대해서도 특징 공간에서 공존 아이템의 공동 분포를 모델링함으로써 CRAFT는 다양하고 관련성 있으며 시각적으로 타당한 추천을 성공적으로 생성했다.