[논문 리뷰] TransNFCM: Translation-Based Neural Fashion Compatibility Modeling

Xun Yang, Yunshan Ma외 3명|arXiv (Cornell University)|2018. 12. 25.

Recommender Systems and Techniques참고 문헌 27인용 수 4

한 줄 요약

TransNFCM은 통합된 공간 내에서 벡터 변환으로서의 아이템 임베딩과 카테고리별 보완 관계를 동시에 학습함으로써 패션 호환성 모델링을 위한 새로운 번역 기반 신경망 프레임워크를 제안한다. 이는 전반적인 호환성과 카테고리 인식 호환성을 효과적으로 포착하여, 부적절한 유사도 추이를 감소시키고 실제 데이터셋에서 추천 정확도를 향상시킴으로써 최신 기법들을 능가한다.

ABSTRACT

Identifying mix-and-match relationships between fashion items is an urgent task in a fashion e-commerce recommender system. It will significantly enhance user experience and satisfaction. However, due to the challenges of inferring the rich yet complicated set of compatibility patterns in a large e-commerce corpus of fashion items, this task is still underexplored. Inspired by the recent advances in multi-relational knowledge representation learning and deep neural networks, this paper proposes a novel Translation-based Neural Fashion Compatibility Modeling (TransNFCM) framework, which jointly optimizes fashion item embeddings and category-specific complementary relations in a unified space via an end-to-end learning manner. TransNFCM places items in a unified embedding space where a category-specific relation (category-comp-category) is modeled as a vector translation operating on the embeddings of compatible items from the corresponding categories. By this way, we not only capture the specific notion of compatibility conditioned on a specific pair of complementary categories, but also preserve the global notion of compatibility. We also design a deep fashion item encoder which exploits the complementary characteristic of visual and textual features to represent the fashion products. To the best of our knowledge, this is the first work that uses category-specific complementary relations to model the category-aware compatibility between items in a translation-based embedding space. Extensive experiments demonstrate the effectiveness of TransNFCM over the state-of-the-arts on two real-world datasets.

연구 동기 및 목표

• 전자상거래 추천 시스템에서 시각적 유사성 이상의 복잡하고 다차원적인 패션 호환성을 모델링하는 과제를 해결하기 위해.
• 유사도 추이의 비합리성과 맥락 무시 호환성 공간을 포함한 메트릭 학습 기반 접근법의 한계를 극복하기 위해.
• 통합된 임베딩 공간 내에서 벡터 변환을 통해 데이터 의존적이고 카테고리별로 특화된 호환성 함수를 도입하기 위해.
• 엔드 투 엔드 학습 프레임워크를 통해 아이템 임베딩과 카테고리 보완 관계를 공동 최적화하기 위해.
• 다중모odal(시각적 및 텍스처적) 표현을 활용하여 교차 카테고리 패션 추천을 향상시키기 위해.

제안 방법

• TransNFCM는 각 카테고리 보완 쌍(예: 티셔츠와 바지)을 임베딩 공간 내의 관계 벡터로 표현하는 다중관계 학습 문제로 패션 호환성을 모델링한다.
• 호환성은 번역 메커니즘을 통해 수식화되며, 호환되는 아이템 x(헤드)와 y(테일)에 대해 관계 벡터 r이 x + r ≈ y를 만족함으로써 카테고리별 호환성 개념을 임bedding한다.
• 다중모달 아이템 인코더는 사전 학습된 CNN을 통해 시각적 특징과 텍스트 CNN을 통해 텍스트적 특징을 결합하여 통합된 아이템 임베딩을 생성한다.
• 프레임워크는 마진 기반 순위 손실(BPR 등)을 통해 아이템 임베딩과 관계 벡터를 동시에 최적화하며, 양성 쌍에 대해 x + r와 y 사이의 거리를 최소화한다.
• 호환성 점수는 P(x,y) ∝ -d(x + r^{c_x c_y}, y)로 계산되며, 전반적인( x^T y ) 및 카테고리별( (y - x)^T r^{c_x c_y} ) 성분을 모두 통합한다.
• 실험 결과에 따르면 교차 모odal 일致성 손실와 같은 추가 손실 함수가 표현 다양성을 떨어뜨리고 성능을 저하시키므로, 이를 도입하지 않는다.

실험 결과

연구 질문

• RQ1 번역 기반 임베딩 프레임워크는 전반적 유사성 이상의 카테고리 인식 패션 호환성을 효과적으로 모델링할 수 있는가?
• RQ2 아이템 임베딩과 카테고리별 관계를 공동으로 학습하는 것이 메트릭 학습 기반 베이스라인 대비 호환성 모델링 성능을 어떻게 향상시키는가?
• RQ3 최종 추천 성능에서 전반적 호환성 신호와 카테고리별 호환성 신호의 상대 기여도는 어떠한가?
• RQ4 대상 카테고리가 알려진 더 유리한 설정에서 TransNFCM은 기존 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 모델은 복잡하고 다중모달 패션 데이터를 포함하는 실제 전자상거래 데이터셋에 일반화될 수 있는가?

주요 결과

• FashionVC 데이터셋에서 TransNFCM는 75.4% AUC와 33.4% Hit@10을 달성하였으며, 동일한 다중모달 설정에서 BPR이 기록한 75.4% AUC와 33.4% Hit@10을 뛰어넘는 성능을 보였다.
• Polyvore 데이터셋에서 TransNFCM는 73.8% AUC와 32.7% Hit@10을 기록하여 최신 기법들에 비해 일관된 승리를 거두었다.
• 전반적 호환성과 카테고리별 호환성 신호의 조합이 최고의 성능을 낸다. 카테고리별 부분((y - x)^T r)만 사용할 경우 성능이 열악하며, 전반적 부분만 사용할 경우에도 충분하지 않다.
• 대상 카테고리가 알려진 경우, TransNFCM는 TriNet에 비해 AUC와 Hit@10에서 약 2% 우수한 성능을 보였으며, 부정 예측을 무작위로 샘플링할 경우 약 4%의 더 뚜렷한 향상이 있었다.
• 제거 실험 결과, 카테고리별 관계 벡터 r^{c_x c_y}가 어려운 부정 예측을 쿼리에서 더 멀리 밀어내어 비합리적인 유사도 추이를 효과적으로 완화함을 확인하였다.
• 표현 다양성 감소로 인해 성능이 저하되는 것을 경험적으로 확인한 바, 교차 모달 일치 또는 시각-의미적 정렬 손실 없이도 최신 기술 수준의 성능을 달성하였다.