[논문 리뷰] ContrastVAE: Contrastive Variational AutoEncoder for Sequential Recommendation

Yu Wang, Hengrui Zhang외 3명|arXiv (Cornell University)|2022. 08. 27.

Recommender Systems and Techniques인용 수 4

한 줄 요약

ContrastVAE는 데이터 희소성, 불확실성, 장꼬리 아이템 문제를 해결하기 위해 대조학습을 VAE에 통합한 순차적 추천을 위한 대비형 변분 오토에코더를 제안한다. 두 가지 시각 학습 목표(ContrastELBO)와 새로운 증강 전략(모델 증강 및 변분 증강)을 도입함으로써 표현 학습과 강건성을 향상시켰으며, 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하여 Recall@40 기준 최대 7.6% 향상을 이룩하였다.

ABSTRACT

Aiming at exploiting the rich information in user behaviour sequences, sequential recommendation has been widely adopted in real-world recommender systems. However, current methods suffer from the following issues: 1) sparsity of user-item interactions, 2) uncertainty of sequential records, 3) long-tail items. In this paper, we propose to incorporate contrastive learning into the framework of Variational AutoEncoders to address these challenges simultaneously. Firstly, we introduce ContrastELBO, a novel training objective that extends the conventional single-view ELBO to two-view case and theoretically builds a connection between VAE and contrastive learning from a two-view perspective. Then we propose Contrastive Variational AutoEncoder (ContrastVAE in short), a two-branched VAE model with contrastive regularization as an embodiment of ContrastELBO for sequential recommendation. We further introduce two simple yet effective augmentation strategies named model augmentation and variational augmentation to create a second view of a sequence and thus making contrastive learning possible. Experiments on four benchmark datasets demonstrate the effectiveness of ContrastVAE and the proposed augmentation methods. Codes are available at https://github.com/YuWang-1024/ContrastVAE

연구 동기 및 목표

• 기존의 순차적 추천 모델의 한계, 즉 데이터 희소성, 순차 패턴에 대한 불확실성, 장꼬리 아이템에 대한 일반화 능력 부족을 해결하기 위해.
• 표준 VAE에서의 사후 붕괴 및 점 추정 문제를 대비학습을 변분 오토에코딩 프레임워크에 통합하여 완화하기 위해.
• 대비학습을 위한 의미적으로 유의미한 두 번째 시각을 사용자 시퀀스에서 생성할 수 있는 효과적인 데이터 증강 전략을 개발하기 위해.
• 새로운 이중 시각 증거 하한값(ContrastELBO)을 통해 VAE와 대비학습 간의 이론적 연결 고리를 설정하기 위해.
• 실제 사용자 행동 데이터에서 흔히 발생하는 노이즈 또는 손상된 입력 시퀀스에 대한 모델의 강건성을 향상시키기 위해.

제안 방법

• 표준 ELBO의 이중 시각 확장인 ContrastELBO를 제안하여, 동일한 시퀀스의 두 개의 증강된 시각 간 상호정보를 최대화함으로써 VAE 학습과 대비학습을 통합한다.
• 동일한 사용자 행동 시퀀스의 서로 다른 증강된 시각을 처리하는 두 개의 브랜치로 구성된 두 가지 브랜치 VAE 아키텍처인 ContrastVAE를 설계하며, 브랜치 간에 파라미터를 공유한다.
• 모델 증강을 도입하여 동일한 입력 시퀀스에 대해 동일한 모델의 변형된 버전을 적용함으로써 두 번째 시각을 생성함으로써 의미적 일관성을 유지한다.
• 변분 증강을 도입하여 잠재 코드의 변분 사후 분포에서 샘플링함으로써 두 번째 시각을 생성함으로써 정규화된 확률적 성격을 유지하면서도 의미적 관련성을 유지한다.
• 재구성 손실, KL 발산, 그리고 두 시각 간의 상호정보 최대화를 통합한 손실 함수를 최적화하여 표현의 다양성과 강건성을 향상시킨다.
• 상호정보 손실에 대한 학습 가능한 가중치 초항수를 도입하여 다음 아이템 예측과 대비학습 목표 간 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 대비학습은 VAE 기반 순차적 추천 모델에서 사후 붕괴와 분산 흐려짐 문제를 효과적으로 완화할 수 있는가?
• RQ2 모델 증강 및 변분 증강 전략은 순차 데이터에 대한 대비학습에서 양호한 양성 샘플 쌍의 품질과 일관성을 어떻게 향상시키는가?
• RQ3 기존 VAE 및 자기주의 기반 모델 대비 ContrastVAE는 장꼬리 아이템에 대해 얼마나 향상된 성능을 보이는가?
• RQ4 결함이 있거나 손상된 입력 시퀀스(예: 항목이 누락되거나 교체된 경우)에 대해 ContrastVAE는 얼마나 강건한가?
• RQ5 초항수 조정 측면에서 대비학습과 다음 아이템 예측 목표 간 최적의 트레이드오프는 무엇인가?

주요 결과

• ContrastVAE는 네 가지 벤치마크 데이터셋(Beauty, Sports, Office, Toys)에서 최신 기술 수준의 성능을 달성하였으며, 기준 모델 대비 Recall@40에서 최대 7.6% 향상을 기록하였다.
• 특히 저빈도 및 장꼬리 아이템에 대해 사후 분포와 사전 분포 간 KL 발산 값이 더 높아져 사후 붕괴가 크게 감소한 것으로 확인되었다.
• 희귀 아이템에 대해 더 높은 잠재 표현 분산을 유지함으로써 점 추정 붕괴를 방지하고 입력 편향에 대한 강건성을 향상시켰다.
• 시퀀스 내 항목을 무작위로 삭제하거나 교체하는 노이즈 상황에서도 ACVAE, S3Rec, SASRec을 모두 초월하는 뛰어난 강건성을 보였다.
• 초항수 민감도 분석 결과, 상호정보 손실에 중간 정도의 가중치를 부여할 경우 최적의 성능을 달성하였으며, 대비학습 손실을 과도하게 강조할 경우 성능 저하가 발생하였다.
• 제거 실험 결과, 모델 증강과 변분 증강 전략이 모두 성능 향상에 기여하며, 두 전략의 조합이 가장 우수한 성능을 내는 것으로 확인되었다.