[논문 리뷰] Wasserstein Autoencoders for Collaborative Filtering

Jingbin Zhong, Xiaofeng Zhang|arXiv (Cornell University)|2018. 09. 15.

Recommender Systems and Techniques참고 문헌 23인용 수 3

한 줄 요약

이 논문은 암시적 피드백을 사용한 협업 필터링을 위한 적응형 워샤르스키 자동에코더(aWAE)를 제안하며, 상호정보량 손실과 L1 정규화를 도입하여 잠재 공간의 품질과 희소성을 향상시켜 모델 성능을 향상시킨다. ML-20M, Netflix, LASTFM에서 평가된 aWAE는 Recall@1, Recall@5, NDCG@10에서 Mult-VAE, Mult-DAE, CDAE, Slim을 모두 능가하며, 더 높은 추천 정확도를 입증한다.

ABSTRACT

The recommender systems have long been investigated in the literature. Recently, users' implicit feedback like `click' or `browse' are considered to be able to enhance the recommendation performance. Therefore, a number of attempts have been made to resolve this issue. Among them, the variational autoencoders (VAE) approach already achieves a superior performance. However, the distributions of the encoded latent variables overlap a lot which may restrict its recommendation ability. To cope with this challenge, this paper tries to extend the Wasserstein autoencoders (WAE) for collaborative filtering. Particularly, the loss function of the adapted WAE is re-designed by introducing two additional loss terms: (1) the mutual information loss between the distribution of latent variables and the assumed ground truth distribution, and (2) the L1 regularization loss introduced to restrict the encoded latent variables to be sparse. Two different cost functions are designed for measuring the distance between the implicit feedback data and its re-generated version of data. Experiments are valuated on three widely adopted data sets, i.e., ML-20M, Netflix and LASTFM. Both the baseline and the state-of-the-art approaches are chosen for the performance comparison which are Mult-DAE, Mult-VAE, CDAE and Slim. The performance of the proposed approach outperforms the compared methods with respect to evaluation criteria Recall@1, Recall@5 and NDCG@10, and this demonstrates the efficacy of the proposed approach.

연구 동기 및 목표

• 변분 자동에코더(VAEs)가 잠재 변수 분포가 중복되어 추천 성능이 저하되는 한계를 해결하기 위해.
• 최초로 워샤르스키 자동에코더(WAEs)를 협업 필터링에 적응시켜 최적의 운반 이론을 활용해 잠재 공간 분포의 정렬을 향상시키기 위해.
• 잠재 변수에 대한 L1 정규화를 도입하여 일반화 성능을 향상시키고 데이터의 희소성 문제를 다루기 위해.
• 재구성 정밀도를 향상시키기 위해 비밀리에 비밀번호를 모델링하는 다항 손실을 포함한 두 가지 새로운 비용 함수를 설계하기 위해.
• 대규모 실세계 추천 데이터셋에서 최신 기준 모델들에 비해 제안된 방법의 우수성을 검증하기 위해.

제안 방법

• 잠재 변수와 사전 분포 간의 상호정보량 손실 및 L1 정규화를 포함한 복합 손실 함수를 제안하여 희소성을 촉진한다.
• 원래의 GAN 스타일 디스크림ิน레이터를 대체하기 위해 잠재 분포와 사전 분포 간의 워샤르스키 거리를 근사하기 위한 샘플 평균 분산(SMV) 방법을 도입한다.
• 제약 조건이 있는 최적화 문제를 해결하기 위해 ADMM를 활용한 수정된 변분 추론 학습 프레임워크를 사용하여 딥 네트워크 파라미터와 정규화 항을 별도로 학습한다.
• 두 가지 다른 비용 함수를 설계: 하나는 평균 제곱 오차 기반이며, 다른 하나는 비밀번호가 없는 항목을 명시적으로 모델링하여 학습 안정성과 성능을 향상시키는 다항 손실.
• 재구성 기반 최적화를 위해 재표본화를 활용한 변분 추론을 사용하여 인코더 및 디코더 네트워크를 종합적으로 최적화하며, 최적의 운반 이론을 통한 분포 제약 조건을 강제한다.
• L1 정규화 항을 최적화하기 위해 ADMM를 적용하여 네트워크 가중치 학습과 정규화 파라미터 학습을 분리한다.

실험 결과

연구 질문

• RQ1 암시적 피드백을 가진 협업 필터링에 워샤르스키 자동에코더를 효과적으로 적응시킬 수 있는가? 이는 기존 VAE 기반 방법보다 향상된 성능을 낼 수 있는가?
• RQ2 잠재 분포와 사전 분포 간의 상호정보량 손실을 도입할 경우, 학습된 표현의 품질과 분리 가능성은 어떻게 영향을 받는가?
• RQ3 잠재 변수에 대한 L1 정규화는 희소한 실세계 데이터셋에서 희소성과 추천 성능을 얼마나 향상시키는가?
• RQ4 비밀번호가 없는 항목을 모델링하는 다항 비용 함수는 기존 재구성 손실 대비 수렴 속도를 빠르게 하고 성능을 향상시키는가?
• RQ5 Recall 및 NDCG 지표에서 제안된 aWAE는 Mult-VAE, Mult-DAE, CDAE, Slim과 같은 최신 기준 모델보다 어떻게 비교되는가?

주요 결과

• 제안된 aWAE는 ML-20M, Netflix, LASTFM의 세 데이터셋에서 Recall@1, Recall@5, NDCG@10에서 Mult-VAE, Mult-DAE, CDAE, Slim을 모두 능가하는 최고의 성능을 기록한다.
• LASTFM 데이터셋에서 aWAE는 다섯 가지 평가 기준에서 최고 성능을 기록하고 두 가지 기준에서 두 번째로 높은 성능을 기록하여 강력한 일반화 능력을 입증한다.
• 상호정보량 손실은 다양한 하이퍼파rameter 설정에서 안정적으로 기여하며, 최적 성능는 α=0.3에서 달성되어 하이퍼파rameter 선택에 대한 강건성을 보여준다.
• 다항 비용 함수는 비밀번호가 없는 항목을 모델링함으로써 수렴 속도를 빠르게 하고 모델 성능을 크게 향상시키며, 기존 자동에코더에서 종종 忽略되는 항목을 고려함으로써 성능 향상을 이룬다.
• 워샤르스키 거리 근사를 위한 SMV 방법은 GAN 스타일 디스크림ิน레이터의 안정적이고 효과적인 대체 방법을 제공하여 분포 정렬을 향상시킨다.
• Recall@20 및 Recall@50에서 aWAE는 Mult-VAE와 유사한 성능(예: 0.441 vs. 0.444)을 기록하여 큰 항목 목록을 추천할 경우에도 뛰어난 성능을 보임을 시사한다.