[논문 리뷰] Specializing Joint Representations for the task of Product Recommendation

Thomas Nédelec, Elena Smirnova외 1명|arXiv (Cornell University)|2017. 06. 23.

Recommender Systems and Techniques참고 문헌 29인용 수 6

한 줄 요약

이 논문은 텍스트, 이미지, 협업 필터링 신호에서 유형별 임베딩을 융합함으로써 공동 제품 표현을 전문화하는 모듈러한 딥러닝 아키텍처인 Content2Vec을 제안한다. 각 모달리티를 별도로 훈련하고 파ip라인의 후단에서 융합함으로써, 표준 및 어려운 추천 시나리오(예: 쿨스타트 및 크로스카테고리 추천)에서 뛰어난 성능을 달성하면서도 효율적이고 검색 최적화된 압축 표현을 가능하게 한다.

ABSTRACT

We propose a unified product embedded representation that is optimized for the task of retrieval-based product recommendation. To this end, we introduce a new way to fuse modality-specific product embeddings into a joint product embedding, in order to leverage both product content information, such as textual descriptions and images, and product collaborative filtering signal. By introducing the fusion step at the very end of our architecture, we are able to train each modality separately, allowing us to keep a modular architecture that is preferable in real-world recommendation deployments. We analyze our performance on normal and hard recommendation setups such as cold-start and cross-category recommendations and achieve good performance on a large product shopping dataset.

연구 동기 및 목표

• 검색 기반 제품 추천 성능을 최적화하는 통합형 모듈러 제품 임베딩을 개발하기 위해.
• 텍스트, 이미지, 협업 필터링과 같은 다양한 제품 신호를 하나의 효과적인 표현으로 융합하는 도전 과제를 해결하기 위해.
• 쿨스타트 및 크로스카테고리 추천과 같은 어려운 추천 시나리오에서의 강건성을 향상시키기 위해.
• 성능을 희생시키지 않고도 압축을 통해 효율적이고 검색 최적화된 제품 표현을 가능하게 하기 위해.
• 산업 규모의 추천 시스템에서 최적의 제품 임베딩을 위한 포괄적인 요구사항 세트를 정의하고 평가하기 위해.

제안 방법

• 텍스트(텍스트CNN), 이미지(이미지CNN), 협업 필터링(프로드2벡)에 대해 별도로 사전 훈련된 신경망을 사용하여 모달리티별 제품 임베딩을 생성한다.
• 교차 상호작용 유닛을 사용하여 쌍방향 상호작용을 모델링하는 후단 융합 메커니즘이 이러한 임베딩을 융합한다.
• 최종 공동 표현은 공구된 제품 쌍의 링크 예측 작업에서 AUC를 최적화하는 엔드 투 엔드 훈련을 통해 학습된다.
• 두 가지 변형이 도입된다: Content2Vec-perf(전체 표현)와 Content2Vec-compressed(저차원, 희소, 검색 최적화 표현).
• 사전 훈련된 모달리티별 인코더를 재사용함으로써 전이 학습을 지원하고 모델 초기화를 통해 빠른 재훈련을 가능하게 한다.
• 교차 상호작용 유닛은 임베딩 간의 상호작용을 모델링함으로써 모달리티 간의 표현력을 향상시켜 일반화 능력을 강화한다.

실험 결과

연구 질문

• RQ1 텍스트, 이미지, 협업 필터링 신호를 융합한 통합형 공동 제품 임베딩이 단일 모달리티 기반 모델보다 제품 추천에서 더 뛰어난 성능을 내는가?
• RQ2 제안된 아키텍처는 쿨스타트 및 크로스카테고리 추천과 같은 어려운 추천 시나리오에서 어떻게 성능을 내는가?
• RQ3 검색 최적화 환경에서 모델 성능, 훈련 효율성, 표현 압축 간의 상호 교환 관계는 어떠한가?
• RQ4 모듈러하고 후단 융합 아키텍처는 생산 환경에서 빠른 재훈련과 전이 학습을 가능하게 하면서도 높은 성능을 유지할 수 있는가?
• RQ5 교차 모달리티 상호작용을 통합함으로써 제품 추천에서 일반화 능력과 강건성이 얼마나 향상되는가?

주요 결과

• Content2Vec-compressed는 압축된 저차원 표현 덕분에 효율적인 검색을 가능하게 하면서도 일반 및 어려운 추천 작업에서 뛰어난 성능을 달성한다.
• Content2Vec-perf는 AUC 측면에서 단일 모달리티 기반 모델(TextCNN, ImageCNN, Prod2Vec) 및 그 선형 조합보다 모든 평가 설정에서 뛰어난 성능을 보이며, 크로스카테고리 및 믹스드카테고리 쌍에서도 마찬가지다.
• 콘텐츠와 협업 필터링 신호를 융합한 하이브리드 아키텍처인 Content2Vec-perf+는 협업 필터링 데이터가 많을 때조차도 개별 신호보다 더 뛰어난 성능을 보인다.
• Content2Vec-perf는 표준 설정에서 Prod2Vec과 유사한 성능을 보이며, 잘 연결된 제품 그래프에서 콘텐츠 기반 표현이 협업 필터링과 경쟁 가능함을 입증한다.
• 쿨스타트 및 크로스카테고리 시나리오에서 모델는 기존 모델보다 강건성이 향상되었으며, 볼 만한 성능 향상으로써 본인의 제품 카테고리 외부로 일반화할 수 있음을 확인한다.
• Content2Vec-compressed는 Content2Vec-perf보다 略로 낮은 정확도를 보이지만, 성능과 검색 효율성 사이의 강력한 트레이드오프를 제공하여 대규모 배포에 적합하다.