[논문 리뷰] Modeling Sequences as Distributions with Uncertainty for Sequential Recommendation

Ziwei Fan, Zhiwei Liu외 3명|arXiv (Cornell University)|2021. 06. 11.

Recommender Systems and Techniques참고 문헌 28인용 수 5

한 줄 요약

이 논문은 사용자 관심의 불확실성을 포착하기 위해 항목과 시퀀스를 타원형 정규분포로 모델링하는 분포 기반 Transformer인 DT4SR를 제안한다. 전문화된 Transformer를 통해 동적 평균 및 공분산 표현을 학습하고, 랭킹에 워샤르슈타인 거리(Wasserstein distance)를 사용함으로써, 특히 쿨스타트 시나리오에서 최신 기술 대비 뚜렷한 성능 향상을 이룬다. 세 가지 데이터셋에서 평균적으로 Recall@1에 19.9% 향상, NDCG@5에 10.8% 향상된 결과를 보였다.

ABSTRACT

The sequential patterns within the user interactions are pivotal for representing the user's preference and capturing latent relationships among items. The recent advancements of sequence modeling by Transformers advocate the community to devise more effective encoders for the sequential recommendation. Most existing sequential methods assume users are deterministic. However, item-item transitions might fluctuate significantly in several item aspects and exhibit randomness of user interests. This extit{stochastic characteristics} brings up a solid demand to include uncertainties in representing sequences and items. Additionally, modeling sequences and items with uncertainties expands users' and items' interaction spaces, thus further alleviating cold-start problems. In this work, we propose a Distribution-based Transformer for Sequential Recommendation (DT4SR), which injects uncertainties into sequential modeling. We use Elliptical Gaussian distributions to describe items and sequences with uncertainty. We describe the uncertainty in items and sequences as Elliptical Gaussian distribution. And we adopt Wasserstein distance to measure the similarity between distributions. We devise two novel Trans-formers for modeling mean and covariance, which guarantees the positive-definite property of distributions. The proposed method significantly outperforms the state-of-the-art methods. The experiments on three benchmark datasets also demonstrate its effectiveness in alleviating cold-start issues. The code is available inhttps://github.com/DyGRec/DT4SR.

연구 동기 및 목표

• 순차적 추천에서 항목 전이에 내재된 확률적 성격이 존재하나, 기존의 결정론적 사용자 선호 모델링 방식은 이를 반영하지 못하는 한계를 해결하기 위해.
• 분포 기반 표현을 통해 사용자와 항목 간 상호작용 공간을 확장하여 쿨스타트 문제를 완화하기 위해.
• 공분산 행렬이 양의 정부호이도록 보장하면서도 항목 및 시퀀스 표현의 평균과 공분산을 모두 모델링할 수 있는 미분 가능 프레임워크를 개발하기 위해.
• 점곱 어텐션 대신 워샤르슈타인 거리를 사용해 분포 간 유사도를 측정함으로써 추천 정확도를 향상시키기 위해.
• 실세계 순차적 데이터에서 변화하고 변동하는 사용자 관심을 포착하는 데에 불확실성 인식 모델링의 우수성을 입증하기 위해.

제안 방법

• 항목과 시퀀스를 타원형 정규분포로 표현하며, 평균은 중심 경향성을, 공분산은 사용자 관심의 불확실성을 캡처한다.
• 공분산 행렬의 양의 정부호 성질을 유지하도록 설계된 두 가지 새로운 Transformer 아키텍처를 도입한다. 하나는 평균 표현을 학습하고, 다른 하나는 공분산 표현을 학습한다.
• 예측된 다음 항목의 분포와 후보 항목 분포 간 유사도를 측정하기 위해 워샤르슈타인 거리를 사용하는 메트릭 학습 프레임워크를 적용하여 랭킹을 수행한다.
• 최적화 과정에서 양의 정부호성을 보장하기 위해 공분산 행렬의 미분 가능 파arameterization을 코レス키 분해(Cholesky decomposition)를 사용하여 적용한다.
• 기존 Transformer의 자기어텐션 메커니즘을 점 임베딩 대신 분포 임베딩에 적용하여, 시퀀스 전반에 걸쳐 불확실성의 동적 모델링을 가능하게 한다.
• 평균과 공분산 브랜치가 함께 학습되어 시간에 따라 변화하는 중심 선호도와 그 변동성을 동시에 포착할 수 있도록 双브랜치 아키텍처를 활용한다.

실험 결과

연구 질문

• RQ1 불확실성을 고려한 확률적 분포로 사용자 시퀀스를 모델링할 경우, 결정론적 점 임베딩 대비 순차적 추천 성능이 향상되는가?
• RQ2 항목 및 시퀀스 표현에 불확실성을 통합할 경우, 모델의 쿨스타트 사용자 및 항목을 다루는 능력에 어떤 영향을 미치는가?
• RQ3 전통적인 점곱 어텐션 대비 분포 기반 추천에서 워샤르슈타인 거리를 사용할 경우, 랭킹 성능에 어떤 영향을 미치는가?
• RQ4 이중 Transformer 아키텍처는 공분산 행렬의 양의 정부호 성질을 유지하면서도 평균과 공분산의 동적 변화를 효과적으로 학습할 수 있는가?
• RQ5 제안된 방법은 다양한 시퀀스 길이와 쿨스타트 조건에서 최신 기술 기준 대비 어떻게 성능을 발휘하는가?

주요 결과

• 아마존 토이스 데이터셋에서 DT4SR는 두 번째로 우수한 베이스라인 대비 Recall@1에서 32.4% 상대적 향상을 기록했으며, 모든 지표에서 평균 19.9% 향상된 결과를 보였다.
• 아마존 게임 데이터셋에서는 Recall@1에서 11.4% 상대적 향상, MRR에서 8.4% 향상되어 다양한 데이터 분포에서 일관된 성능 향상을 입증했다.
• 단 한 번의 상호작용만 있는 사용자(극단적 쿨스타트)의 경우, DT4SR는 SASRec 대비 Recall@5에서 9% 상대적 향상을 기록하여 저자료 환경에서의 효과성을 입증했다.
• 단 한 번의 상호작용만 있는 쿨스타트 항목의 경우, 토이스 데이터셋에서 Recall@5에서 100% 상대적 향상, 게임 데이터셋에서는 50% 이상의 상대적 향상을 기록했다.
• 빈번한 항목에 대해서도 강력한 성능 유지를 유지하여, 불확실성 모델링이 잘 표현된 사용자 및 항목에 대한 성능을 손상시키지 않는다는 점을 확인했다.
• 제거 실험(ablation study) 결과, 평균 및 공분산 트랜스포머 모두 성능 향상에 기여하며, 특히 공분산 브랜치가 불확실성과 쿨스타트 시나리오에서 매우 효과적인 것으로 확인되었다.