[논문 리뷰] Transformers with multi-modal features and post-fusion context for e-commerce session-based recommendation

Gabriel de Souza Pereira Moreira, Sara Rabhi외 3명|arXiv (Cornell University)|2021. 07. 11.

Recommender Systems and Techniques인용 수 9

한 줄 요약

이 논문은 전자상거래 세션 기반 추천을 위한 하이브리드 트랜스포머 기반 앙상블 모델을 제안한다. 이 모델은 다중 모odal 특징 융합을 통해 표 형태의 상호작용 이벤트와 사전 훈련된 텍스트 및 이미지 임베딩을 결합한다. 이 접근법은 자동회귀(Transformer-XL)와 자동에코( XLNet) 훈련 목표를 모두 활용하여, SIGIR 2021 전자상거래 데이터 챌린지에서 최신 기술 성능을 달성했으며, 비공개 테스트 세트에서 MRR 0.482와 F1 스코어 0.578를 기록했다.

ABSTRACT

Session-based recommendation is an important task for e-commerce services, where a large number of users browse anonymously or may have very distinct interests for different sessions. In this paper we present one of the winning solutions for the Recommendation task of the SIGIR 2021 Workshop on E-commerce Data Challenge. Our solution was inspired by NLP techniques and consists of an ensemble of two Transformer architectures - Transformer-XL and XLNet - trained with autoregressive and autoencoding approaches. To leverage most of the rich dataset made available for the competition, we describe how we prepared multi-model features by combining tabular events with textual and image vectors. We also present a model prediction analysis to better understand the effectiveness of our architectures for the session-based recommendation.

연구 동기 및 목표

• 사용자가 익명이며 짧고 동적인 세션을 가지는 전자상거래 환경에서 세션 기반 추천 문제를 해결하기 위해.
• 표 형태의 이벤트, 제품 설명, 이미지 임베딩 등의 다중 모달 특징을 통합하여 통합된 딥러닝 프레임워크를 통해 추천 정확도를 향상시키기 위해.
• 세션 기반 추천에 대해 자동회귀 및 자동에코 목표를 모두 사용해 훈련한 트랜스포머 아키텍처의 효과성을 조사하기 위해.
• 세션 길이, 항목 인기도, 가격에 따른 모델 행동을 분석하여 콜드 스타트 및 인기도 편향과 같은 주요 실패 원인을 규명하기 위해.

제안 방법

• 앙상블 모델은 두 가지 트랜스포머 아키텍처인 Transformer-XL(자동회귀 언어 모델링으로 훈련)과 XLNet(마스킹 언어 모델링으로 훈련)을 조합한다.
• 다중 모달 특징은 사용자 상호작용 이벤트(예: 클릭, 구매 등)의 표 형태 데이터와 제품 설명에서 얻은 사전 훈련된 텍스트 임베딩, 비전 인코더에서 유도된 이미지 임베딩을 융합하여 구성된다.
• 특징 공학에는 인기도 편향을 완화하고 희귀 항목에 대한 일반화 능력을 향상시키기 위해 항목 빈도 캡핑 기법이 포함된다.
• 최종 예측은 두 트랜스포머 모델의 앙상블 평균을 통해 생성되며, 각 세션의 첫 번째 반을 기반으로 두 번째 반을 예측하기 위해 추론가 수행된다.
• 모델 평가는 검증 세트와 비공개 테스트 세트에서 MRR 및 F1 스코어를 사용하며, 세션 길이, 항목 인기도, 가격에 대한 분석 연구도 실시된다.

실험 결과

연구 질문

• RQ1 전자상거래에서 세션 기반 추천에 대해 자동회귀 및 자동에코 목표로 훈련된 트랜스포머 아키텍처는 얼마나 효과적인가?
• RQ2 텍스트, 시각, 표 형태의 다중 모달 특징은 표 형태 전용 모델 대비 추천 성능을 얼마나 향상시키는가?
• RQ3 세션 길이에 따라 모델 성능은 어떻게 변화하는가? 더 긴 세션에서 MRR가 감소하는 이유는 무엇인가?
• RQ4 항목 인기도가 예측 정확도에 어떤 영향을 미치며, 희귀 또는 미리보지 않은 항목은 어떻게 처리하는가?
• RQ5 제품 가격은 예측 정확도에 어떤 영향을 미치며, 추천에 가격 기반 편향이 존재하는가?

주요 결과

• 앙상블 모델은 비공개 테스트 세트에서 MRR 0.482와 F1 스코어 0.578를 기록하여 경쟁에서 비딥러닝 기반 모델을 능가했다.
• 더 긴 세션에서 MRR가 감소한 것으로 나타나, 임베딩의 내부 세션 유사도가 낮아지는 증가된 세션 다양성으로 인해 다음 항목 예측이 더 어려워지는 것으로 보인다.
• 모델는 강한 인기도 편향을 보였다: 상호작용 수가 1~4개인 항목의 MRR는 단지 0.0009에 불과하여 희귀 항목에 대한 성능이 열악한 것으로 나타났다.
• 50번 이상 상호작용이 있었던 항목은 MRR가 유의미하게 높았으며, 높은 빈도로 발생하는 항목이 더 예측하기 쉬운 것으로 확인되었다.
• '신규 항목'(사전 훈련 또는 파인튜닝 기간 동안 볼 수 없었던 제품)에 대한 예측은 MRR = 0을 기록하여 신제품에 대한 콜드 스타트 문제를 확인했다.
• 저가 제품(1~4번 가격 버킷)은 MRR가 낮았으며, 이는 더 자주 상호작용되는 고가 제품들 때문인 것으로 보아 인기도 편향이 영향을 미친 것으로 추정된다.