[논문 리뷰] Sequential Recommendation with Relation-Aware Kernelized Self-Attention

Mingi Ji, Weonyoung Joo외 3명|arXiv (Cornell University)|2019. 11. 15.

Recommender Systems and Techniques참고 문헌 25인용 수 6

한 줄 요약

이 논문은 순차적 추천을 위한 스토하스틱 자기주의 메커니즘인 관계 인식 커널화 자기주의(RKSA)를 제안한다. 이는 공존, 품목 특징, 사용자 데이터로부터 유도된 커널화된 공분산 행렬을 활용해 다변량 비대칭정규 잠재공간을 통해 사용자-품목 상호작용을 모델링한다. RKSA는 관계 기반 인도적 편향을 통합하고 해석 가능한 주의 추론을 가능하게 하여 최신 기술보다 성능을 향상시키며, MovieLens, Amazon, Steam을 포함한 다양한 벤치마크 데이터셋에서 일관된 성능 향상을 기록한다.

ABSTRACT

Recent studies identified that sequential Recommendation is improved by the attention mechanism. By following this development, we propose Relation-Aware Kernelized Self-Attention (RKSA) adopting a self-attention mechanism of the Transformer with augmentation of a probabilistic model. The original self-attention of Transformer is a deterministic measure without relation-awareness. Therefore, we introduce a latent space to the self-attention, and the latent space models the recommendation context from relation as a multivariate skew-normal distribution with a kernelized covariance matrix from co-occurrences, item characteristics, and user information. This work merges the self-attention of the Transformer and the sequential recommendation by adding a probabilistic model of the recommendation task specifics. We experimented RKSA over the benchmark datasets, and RKSA shows significant improvements compared to the recent baseline models. Also, RKSA were able to produce a latent space model that answers the reasons for recommendation.

연구 동기 및 목표

• 순차적 추천에서 결정론적 자기주의의 한계, 특히 데이터 희소성 문제와 해석 가능성 부족 문제를 해결하기 위해.
• 공존, 품목 특성, 사용자 행동을 포함한 관계 기반 인도적 편향을 자기주의 메커니즘에 통합하여 더 나은 맥락 모델링을 가능하게 하기 위해.
• 사용자 시퀀스 내 잠재적 관계를 반영하는 확률적 잠재공간을 학습시켜 추천 추론의 해석 가능성을 보장하기 위해.
• 품목, 사용자, 시퀀스 간의 관계를 민첩하게 모델링할 수 있는 커널화된 공분산 행렬을 개발하여 모델의 적응 능력을 향상시키기 위해.
• 다양한 희소성 수준을 가진 실제 세계 데이터셋에서 기존 순차적 추천 모델을 초월하는 성능을 달성하기 위해.

제안 방법

• RKSA는 질의, 키, 밸류 행렬을 다변량 비대칭정규(MSN) 잠재공간에 통합하여 불확실성과 관계 맥락을 모델링함으로써 스토하스틱 자기주의 메커니즘을 도입한다.
• MSN 분포의 공분산 행렬은 공존 통계, 품목 임베딩, 사용자 임베딩를 통합하는 학습된 함수를 사용해 커널화된다. 이는 관계적 의존성을 포착한다.
• 잠재공간의 암시적 추론과 엔드 투 엔드 학습을 가능하게 하기 위해 MSN 분포에 재생산 기법을 적용한다.
• 다중 헤드 자기주의 아키텍처를 활용하여 각 헤드가 커널화된 잠재공간을 기반으로 주의를 계산함으로써 확장 가능하고 표현력 있는 관계 모델링을 가능하게 한다.
• 커널 함수는 미분 가능하고 적응 가능하도록 설계되어, 수량, 품목, 사용자 신호 등의 다중 관계 신호를 학습 가능한 가중치로 조합하여 각 데이터셋에 맞는 관련 관계 신호를 동적으로 강조한다.
• 최종 주의 출력은 잠재 MSN 분포에서의 미분 가능한 샘플링 과정을 통해 계산되며, 이는 성능 향상과 해석 가능성 양쪽을 동시에 달성한다.

실험 결과

연구 질문

• RQ1 확률적 잠재공간을 갖춘 스토하스틱 자기주의 메커니즘은 결정론적 주의 모델 대비 순차적 추천 성능을 향상시킬 수 있는가?
• RQ2 공존, 품목 특징, 사용자 행동에서 유도된 관계 기반 인도적 편향은 자기주의에 얼마나 효과적으로 통합되어 순차적 의존성 모델링을 향상시킬 수 있는가?
• RQ3 커널화된 공분산 모델링은 다양한 희소성 수준을 가진 데이터셋에서 자기주의의 적응성과 일반화 능력을 얼마나 향상시키는가?
• RQ4 RKSA의 잠재공간은 추천의 추론 배경을 해석 가능한 통찰으로 제공할 수 있는가? 예를 들어 관련 품목이나 사용자 선호도를 강조할 수 있는가?
• RQ5 다양한 커널 구성 요소(수량, 품목, 사용자)는 성능에 어떻게 기여하며, 그 상대적 가중치는 데이터셋 특성에 따라 어떻게 적응하는가?

주요 결과

• RKSA는 여덟 개의 벤치마크 모델과 다섯 개의 다양한 데이터셋에서 최신 기술 수준의 성능을 달성했으며, 희소(예: Beauty) 및 밀도 높은(MovieLens) 설정 모두에서 성능 향상을 보였다.
• Beauty 데이터셋에서는 수량 커널 함수가 가장 뛰어난 성능을 보였으며, 이는 공존 패턴을 통해 희소성 문제를 효과적으로 다루는 데 기여함을 시사한다.
• MovieLens 데이터셋에서는 사용자 커널이 지배적이었으며, 이는 사용자별 선호도를 강조함으로써 모델이 밀도 높은 사용자 상호작용 패턴에 적응할 수 있음을 반영한다.
• 품목 및 사용자 특징의 커널 조합은 밀도 높은 데이터셋에서 개별 커널보다 뛰어난 성능을 보였으며, 다중 모odal 관계 모델링의 가치를 입증한다.
• 희귀 품목의 예측 정확도가 향상되었으며, 특히 희소 데이터셋에서 SASRec 대비 낮은 빈도의 품목에 대해 평균 예측 순위가 더 높게 나타났다.
• 정성적 분석을 통해 RKSA는 의미 있는 품목 임베딩와 상관계수 행렬을 학습함을 확인했다: 동일한 장르에 속한 품목은 서로 뭉쳐지고, 높은 공존 쌍은 강한 주의 가중치를 보이며, 이는 모델의 관계 기반 추론 능력을 검증한다.