[논문 리뷰] Adversarial and Contrastive Variational Autoencoder for Sequential Recommendation

Zhe Xie, Chengxuan Liu외 4명|arXiv (Cornell University)|2021. 03. 19.

Recommender Systems and Techniques참고 문헌 31인용 수 4

한 줄 요약

이 논문은 적대적 학습을 Adversarial Variational Bayes (AVB)를 통해 통합하고, 대조 학습을 적용함으로써 변분 오토인코더를 향상시킨 새로운 순차적 추천 모델인 ACVAE를 제안한다. 잠재 변수 간의 상관관계를 줄이고 개인화된 표현 학습을 향상시킴으로써, ACVAE는 네 개의 실세계 데이터셋에서 최신 기술(SOTA) 성능을 달성하여 기존 SOTA 방법보다 리콜 및 NDCG 지표에서 뛰어난 성능을 보였다.

ABSTRACT

Sequential recommendation as an emerging topic has attracted increasing attention due to its important practical significance. Models based on deep learning and attention mechanism have achieved good performance in sequential recommendation. Recently, the generative models based on Variational Autoencoder (VAE) have shown the unique advantage in collaborative filtering. In particular, the sequential VAE model as a recurrent version of VAE can effectively capture temporal dependencies among items in user sequence and perform sequential recommendation. However, VAE-based models suffer from a common limitation that the representational ability of the obtained approximate posterior distribution is limited, resulting in lower quality of generated samples. This is especially true for generating sequences. To solve the above problem, in this work, we propose a novel method called Adversarial and Contrastive Variational Autoencoder (ACVAE) for sequential recommendation. Specifically, we first introduce the adversarial training for sequence generation under the Adversarial Variational Bayes (AVB) framework, which enables our model to generate high-quality latent variables. Then, we employ the contrastive loss. The latent variables will be able to learn more personalized and salient characteristics by minimizing the contrastive loss. Besides, when encoding the sequence, we apply a recurrent and convolutional structure to capture global and local relationships in the sequence. Finally, we conduct extensive experiments on four real-world datasets. The experimental results show that our proposed ACVAE model outperforms other state-of-the-art methods.

연구 동기 및 목표

• VAE 기반 순차적 추천 모델에서 근사 사후 분포의 표현 능력이 제한되는 문제를 해결하기 위해.
• 더 나은 시퀀스 생성과 추천을 위해 생성된 잠재 변수의 품질과 다양성을 향상시키기 위해.
• 잠재 차원 간 상관관계를 최소화하고 사용자 간 구별 능력을 극대화함으로써 개인화된 사용자 표현을 향상시키기 위해.
• 하이브리드 RNN-CNN 인코더 아키텍처를 사용하여 장기적 및 단기적 순차 패턴을 모두 포착하기 위해.
• 적대적 및 대조 학습 구성 요소가 추천 성능 향상에 기여하는지 검증하기 위해.

제안 방법

• Adversarial Variational Bayes (AVB) 프레임워크 내에서 적대적 학습을 도입하여 잠재 변수를 정규화하고 차원 간 상관관계를 감소시킨다.
• 다른 사용자에 대해 서로 다른 잠재 표현을 유도하기 위해 대조 손실을 활용하여 개인화 및 일반화 능력을 향상시킨다.
• 사용자 상호작용 시퀀스의 장기적 시간적 의존성을 모델링하기 위해 순환 인코더(LSTM)를 사용한다.
• RNN 이후 1D 컨볼루션 레이어를 적용하여 시퀀스의 국소적이고 단기적인 패턴을 포착한다.
• VAE 재구성, KL 발산, 적대적 손실 및 대조 손실을 결합한 공동 목적 함수를 최적화한다.
• 실제와 생성된 잠재 변수를 구별하기 위해 판별자 네트워크를 활용하여 사후 근사의 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 AVB를 통한 적대적 학습이 순차적 VAE의 잠재 변수 품질과 다양성 향상에 기여하는가?
• RQ2 대조 학습이 순차적 추천에서 개인화된 사용자 표현을 구별하는 데 모델의 능력을 향상시키는가?
• RQ3 적대적 및 대조 학습의 조합이 표준 VAE에 비해 추천 성능에 어떤 영향을 미치는가?
• RQ4 RNN 인코더 이후의 CNN 레이어가 국소적 순차 패턴을 포착하는 데 어떤 영향을 미치는가?
• RQ5 하이퍼파라미터 α(적대적 가중치)와 β(대조 손실 가중치)가 모델 성능에 어떤 영향을 미치는가?

주요 결과

• ACVAE는 네 개의 실세계 데이터셋에서 Recall@10 및 NDCG@10 지표에서 최신 기술(SOTA) 모델을 모두 능가한다.
• 제거 실험 결과, AVB를 제거하면 성능에 심각한 하락이 발생하여 AVB가 잠재 변수 품질 향상에 기여한다는 점을 확인한다.
• AVB 적용 시 잠재 차원 간 상관계수는 유의미하게 감소하여 상위 차원 간 종속성이 낮아졌음을 나타낸다.
• 대조 학습은 모델 일반화 능력을 향상시키며, 특히 KL 발산이 약할 경우 β = 0.5에서 최적 성능을 기록한다.
• RNN 이후 CNN 레이어의 포함으로 국소적 순차 패턴을 보다 효과적으로 포착하여 성능 향상이 이루어졌다.
• 하이퍼파라미터 분석 결과, α = 0.05와 β = 0.5가 정규화와 표현 학습 간 최적의 균형을 이룬다.