[논문 리뷰] Fantastic Embeddings and How to Align Them: Zero-Shot Inference in a Multi-Shop Scenario

Federico Bianchi, Jacopo Tagliabue외 3명|arXiv (Cornell University)|2020. 07. 20.

Technology Adoption and User Behaviour인용 수 26

한 줄 요약

이 논문은 수동 레이블링 없이 다수의 온라인 쇼핑몰 간 제품 임베딩을 정렬하는 제로샷 전이 학습 프레임워크를 제안한다. 이를 통해 사용자 의도를 전이하여 쇼핑몰 간 개인화를 가능하게 한다. 상점별로 특화된 prod2vec 임베딩을 학습하고, 비지도 및 지도 학습 방법을 통해 정렬함으로써 효과적인 사용자 의도 전이가 가능해졌으며, 새로 구축한 다중 쇼핑몰 데이터셋을 활용한 다음 이벤트 예측 및 타이핑 중 자동 완성 제안 작업에서 뚜렷한 성능 향상이 확인되었다.

ABSTRACT

This paper addresses the challenge of leveraging multiple embedding spaces for multi-shop personalization, proving that zero-shot inference is possible by transferring shopping intent from one website to another without manual intervention. We detail a machine learning pipeline to train and optimize embeddings within shops first, and support the quantitative findings with additional qualitative insights. We then turn to the harder task of using learned embeddings across shops: if products from different shops live in the same vector space, user intent - as represented by regions in this space - can then be transferred in a zero-shot fashion across websites. We propose and benchmark unsupervised and supervised methods to "travel" between embedding spaces, each with its own assumptions on data quantity and quality. We show that zero-shot personalization is indeed possible at scale by testing the shared embedding space with two downstream tasks, event prediction and type-ahead suggestions. Finally, we curate a cross-shop anonymized embeddings dataset to foster an inclusive discussion of this important business scenario.

연구 동기 및 목표

• 다양한 제품 임베딩 공간 간의 사용자 의도 전이를 통해 다중 쇼핑몰 온라인 쇼핑 환경에서 제로샷 개인화를 가능하게 하기.
• 유사한 제품 의미론을 공유하고도 상점 간 임베딩 공간이 비교 불가능한 문제를 해결하기.
• 다양한 데이터 품질과 지도 학습 요구 수준을 고려한 비지도 및 지도 학습 정렬 방법을 개발하고 벤치마킹하기.
• 실세계의 후행 작업, 즉 다음 이벤트 예측 및 타이핑 중 자동 완성 제안 작업에서 접근법을 검증하기.
• 다양한 쇼핑몰 간 추천 연구의 재현 가능성을 높이기 위해 공개된 익명화된 다중 쇼핑몰 제품 임베딩 데이터셋을 제공하기.

제안 방법

• 사용자 브라우징 시퀀스에서 제품의 저차원 표현을 학습하기 위해 자연어처리(NLP)의 CBOW 아키텍처를 영감으로 삼은 prod2vec 모델을 사용해 상점별로 특화된 제품 임베딩을 학습한다.
• 다른 상점의 임베딩을 공통된 벡터 공간으로 매핑하기 위해 Procrustes 분석과 같은 비지도 정렬 기법 및 다중 쇼핑몰 클릭트러프 데이터를 활용한 지도 학습 미세조정을 적용한다.
• 정렬된 임베딩를 입력으로 사용하는 조건부 언어 모델을 활용해 제로샷 환경에서 맥락 인식 가능한 제안을 가능하게 하기 위해 타이핑 중 자동 완성 개인화를 구현한다.
• 비지도 정렬과 클릭 로그에서 유도된 약한 지도 학습을 조합한 하이브리드 접근법을 통해 전이 능력을 향상시킨다.
• 인간 평가자들이 생성된 제안에 대해 관련성 점수를 매기는 방식으로 정성적 사용자 연구를 수행하여 추천의 관련성 수준을 평가한다.

실험 결과

연구 질문

• RQ1 다른 온라인 쇼핑몰에서 유도된 제품 임베딩 공간을 효과적으로 정렬하여 플랫폼 간 사용자 의도를 제로샷 추론할 수 있는가?
• RQ2 다양한 데이터 품질과 양에서 비지도 및 지도 학습 정렬 방법의 성능 및 내성적 안정성은 어떻게 비교되는가?
• RQ3 정렬된 임베딩는 제로샷 환경에서 다음 이벤트 예측 및 타이핑 중 자동 완성 제안과 같은 후행 작업에서 얼마나 향상시킬 수 있는가?
• RQ4 다양한 브랜드나 SaaS 기반 온라인 쇼핑 네트워크에서 공유 임베딩를 사용하는 데 실질적인 영향은 무엇인가?
• RQ5 정량적 지표 외에 정성적 인간 평가를 통해 정렬 과정을 어떻게 검증할 수 있는가?

주요 결과

• 다음 이벤트 예측 작업에서 최고 성능을 보인 모델(TM)은 MRR@5가 0.138를 기록했으며, 기준 모델(PM) 대비 SL=1일 때 정확도가 81% 높게 나타났다.
• 타이핑 중 자동 완성 개인화 작업에서 정렬된 임베딩는 관련성 향상을 보였으며, 인간 평가자들이 최고 성능 모델의 제안을 기준 모델 대비 유의미하게 더 관련성이 있다고 평가했다.
• 연구는 prod2vec 모델의 하이퍼파ram터 튜닝이 매우 맥락 의존적임을 확인했으며, 유사한 연구에서의 이전 결과는 이 산업 환경에서는 재현되지 않았다.
• 정성적 평가 결과, 정렬된 임베딩는 상점 간 사용자 의도를 성공적으로 포착했으며, 인간 평가자들이 제안 내용이 의미적으로 일관되고 맥락에 부합한다고 평가했다.
• 구축된 다중 쇼핑몰 임베딩 데이터셋은 재현 가능한 연구를 가능하게 하며, 특히 SaaS 제공업체와 다중 브랜드 유통업자들을 위한 향후 전이 학습 연구에 기여할 수 있다.