[논문 리뷰] One Embedding To Do Them All

Loveperteek Singh, Shreya Singh외 2명|arXiv (Cornell University)|2019. 06. 28.

Recommender Systems and Techniques참고 문헌 18인용 수 6

한 줄 요약

이 논문은 각각 노이즈 제거 autoencoder, 베이지안 개인화 순서(BPR), 시아모이즈 네트워크를 사용하여 카탈로그 텍스트, 클릭스트림 행동, 제품 이미지를 통합하는 통합 제품 임베딩 프레임워크를 제안한다. 통합 임베딩은 세 가지 상관없는 전자상거래 작업—속성 예측, 클릭-구매 유사도, 반품 예측—에서 고립된 임베딩보다 일관되게 뛰어난 성능을 보이며, 특히 DeepWalk 기반 변종에서 강력한 일반화 능력과 높은 성능을 입증한다.

ABSTRACT

Online shopping caters to the needs of millions of users daily. Search, recommendations, personalization have become essential building blocks for serving customer needs. Efficacy of such systems is dependent on a thorough understanding of products and their representation. Multiple information sources and data types provide a complete picture of the product on the platform. While each of these tasks shares some common characteristics, typically product embeddings are trained and used in isolation. In this paper, we propose a framework to combine multiple data sources and learn unified embeddings for products on our e-commerce platform. Our product embeddings are built from three types of data sources - catalog text data, a user's clickstream session data and product images. We use various techniques like denoising auto-encoders for text, Bayesian personalized ranking (BPR) for clickstream data, Siamese neural network architecture for image data and combined ensemble over the above methods for unified embeddings. Further, we compare and analyze the performance of these embeddings across three unrelated real-world e-commerce tasks specifically checking product attribute coverage, finding similar products and predicting returns. We show that unified product embeddings perform uniformly well across all these tasks.

연구 동기 및 목표

• 고립된 제품 임베딩의 한계를 해결하기 위해, 과제에 특화되어 있고 전자상거래 응용 분야 간 일반화에 실패하는 임베딩의 문제를 해결한다.
• 텍스트, 클릭스트림, 시각적 데이터와 같은 다양한 데이터 소스를 하나의 일관된 제품 표현으로 통합하여 의미 이해를 향상시킨다.
• 단일 통합 임베딩이 전자상거래의 다양한 상관없는 후행 과제에서 잘 작동하는지 평가한다.
• 다양한 비즈니스 시나리오에서 다양한 데이터 모odal(텍스트, 클릭스트림, 이미지)이 임베딩 품질에 기여하는 상대적 기여도를 규명한다.
• 다양한 후행 시스템에서 작업에 특화된 재학습 없이도 재사용 가능한 일반 목적의 제품 임베딩 솔루션을 제공한다.

제안 방법

• 제품 제목, 설명, 속성에서 강건한 텍스트 표현을 학습하기 위해 노이즈 제거 autoencoder를 활용한다.
• 사용자 클릭스트림 행동을 모델링하고 암묵적 피드백에서 제품 선호도를 유추하기 위해 베이지안 개인화 순서(BPR)를 적용한다.
• 대비 학습을 통해 의미 유사성을 포착하는 컨트라스트 학습을 통해 제품 이미지에서 시각적 임베딩을 학습하기 위해 시아모이즈 신경망을 사용한다.
• 개별 임베딩을 스위프-그램 및 시아모이즈 아키텍처를 활용한 앙상블 방식으로 조합하여 통합 제품 임베딩을 생성한다.
• 브랜드, 색상 등의 사이드 인포메이션 통합을 통해 속성 커버리지와 의미적 풍부함을 향상시킨다.
• 세 가지 다른 후행 과제—속성 예측, 클릭-구매 유사도, 카트 반품 예측—에서 통합 임베딩을 평가한다.

실험 결과

연구 질문

• RQ1 단일 통합 제품 임베딩이 다수의 상관없는 전자상거래 과제에서 제품을 효과적으로 표현할 수 있는가?
• RQ2 텍스트, 클릭스트림, 이미지와 같은 다양한 데이터 소스가 통합 임베딩 품질에 기여하는 방식은 어떠한가?
• RQ3 다양한 데이터 소스를 통합하면 반품 예측 및 유사도 매칭과 같은 과제에서 고립된 임베딩보다 더 나은 일반화 성능을 달성하는가?
• RQ4 사이드 인포메이션 및 시각 데이터의 포함 여부가 콜드스터트 및 롱테일 제품 시나리오에서의 성능에 미치는 영향은 어떠한가?
• RQ5 다양한 후행 과제에서 DeepWalk 기반 임베딩과 간단한 통합 임베딩 간에 성능 트레이드오프가 존재하는가?

주요 결과

• 모든 세 가지 후행 과제에서 고립된 임베딩(BPR-MF, DAE, IE)보다 통합 임베딩이 뛰어난 일반화 능력을 보이며 성능이 뛰어나다.
• P2V 및 DWP2V 모델에 사이드 인포메이션과 이미지 임베딩을 추가함으로써 K=10일 때 히트 비율이 최대 15% 향상되었으며, DeepWalk 기반 변종에서 가장 큰 성과를 기록했다.
• 통합 임베딩은 카트 반품 예측에서 테스트 F1-스코어 0.89를 달성하여 BPR-MF(F1=0.86)와 DAE(F1=0.84)를 모두 능가했다.
• DeepWalk 기반 통합 임베딩(DWP2V, DWPSI2V 등)은 F1-스코어 0.89를 기록하여 고차원 사용자-제품 상호작용을 모델링하는 데 효과적임을 보여주었다.
• 이미지 임베딩은 반품 예측에 기여도가 낮아, 텍스트나 클릭스트림 신호보다 시각적 특징이 반품 행동 예측에 덜 예측 가능하다는 것을 시사한다.
• DeepWalk를 사용하지 않더라도 통합 임베딩(UDWPSI2V)는 F1-스코어 0.87을 기록하여 간단한 아키텍처에서도 강력한 성능을 보였으며, 특히 의도 기반 과제에서 뛰어난 성능을 보였다.