[논문 리뷰] Collaborative Variational Bandwidth Auto-encoder for Recommender Systems

Yaochen Zhu, Zhenzhong Chen|arXiv (Cornell University)|2021. 05. 17.

Recommender Systems and Techniques인용 수 1

한 줄 요약

이 논문은 평점 희소성 하에서 추천 성능을 향상시키기 위해 가우시안 랜덤 변수를 활용해 공동 필터링과 사용자 특징을 함께 모델링하는 변분 대역폭 자동에코더(VBAE)를 제안한다. 평점 밀도에 따라 특징 정보 흐름을 동적으로 조절하는 사용자에 의존적인 채널 변수를 도입함으로써, VBAE는 희소 사용자에 대한 불확실성을 감소시키고 노이즈가 많은 특징에 대한 과적합을 방지하며, 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Collaborative filtering has been widely adopted by modern recommender systems to discover user preferences based on their past behaviors. However, the observed interactions for different users are usually unbalanced, which leads to high uncertainty in the collaborative embeddings of users with sparse ratings, thereby severely degenerating the recommendation performance. Consequently, more efforts have been dedicated to the hybrid recommendation strategy where user/item features are utilized as auxiliary information to address the sparsity problem. However, since these features contain rich multimodal patterns and most of them are irrelevant to the recommendation purpose, excessive reliance on these features will make the model difficult to generalize. To address the above two challenges, we propose a VBAE for recommendation. VBAE models both the collaborative and the user feature embeddings as Gaussian random variables inferred via deep neural networks to capture non-linear similarities between users based on their ratings and features. Furthermore, VBAE establishes an information regulation mechanism by introducing a user-dependent channel variable where the bandwidth is determined by the information already contained in the observed ratings to dynamically control the amount of information allowed to be accessed from the corresponding user features. The user-dependent channel variable alleviates the uncertainty problem when the ratings are sparse while avoids unnecessary dependence of the model on noisy user features simultaneously. Codes and datasets are released at this https URL.

연구 동기 및 목표

• 추천 시스템에서 평점이 희소한 사용자의 공동 임베딩에 기인한 높은 불확실성 문제를 해결한다.
• 하이브리드 추천 모델에서 노이즈가 많거나 관련성이 없는 사용자 특징에 대한 과적합 위험을 완화한다.
• 사용자-항목 상호작용과 사용자 특징을 동적으로 정보 조절 기능을 갖춘 통합 프레임워크로 함께 모델링한다.
• 평점 희소성에 기반해 특징 정보 흐름을 적응적으로 제어함으로써 일반화 능력과 추천 성능을 향상시킨다.
• 낮은 평점 수 상황에서 보조 사용자 특징을 활용하는 것과 그로 인한 악영향을 피하는 것 사이의 트레이드오프를 균형 잡는다.

제안 방법

• 비선형 사용자 유사성을 포착하기 위해 깊은 신경망을 사용해 공동 및 사용자 특징 임베딩을 모두 가우시안 랜덤 변수로 모델링한다.
• 사용자 특징에서 임베딩 공간으로의 정보 흐름 대역폭을 제어하는 사용자에 의존적인 채널 변수를 도입한다.
• 관측된 사용자 평점에 이미 존재하는 정보의 양에 기반해 채널 대역폭을 결정함으로써 희소성에 동적으로 적응하도록 한다.
• 변분 추론을 사용해 정규화된 잠재 공간을 갖는 증거 하한값(ELBO)을 최적화하는 모델을 구성한다.
• 재생성 기법을 사용해 확률적 경사 하강법으로 깊은 신경망을 엔드 투 엔드로 훈련할 수 있도록 한다.
• 평가 기반의 불확실성을 채널 메커니즘에 통합하여 평점이 희소할 경우 노이즈가 많거나 관련성이 없는 특징을 억제한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 평점 희소성으로 인한 불확실성으로 인해 영향을 받는 추천 시스템 내 공동 임베딩의 신뢰성을 높일 수 있는가?
• RQ2 보조 사용자 특징이 노이즈나 과적합을 유발하지 않도록 하면서 추천 성능을 얼마나 향상시킬 수 있는가?
• RQ3 사용자별 평점 희소성에 적응하는 동적 정보 조절 메커니즘이 일반화 능력을 향상시키는 데 기여할 수 있는가?
• RQ4 고정되거나 정적 특징 가중치와 비교했을 때 제안된 채널 기반 정보 제어 메커니즘은 하이브리드 추천 모델에서 어떤가?
• RQ5 사용자에 의존적인 대역폭 제어가 다양한 희소성 수준에서 추천 정확도와 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 제안된 VBAE 모델은 여러 기준 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존의 공동 필터링 및 하이브리드 추천 방법을 능가한다.
• 동적 대역폭 메커니즘이 희소한 평점이 있는 사용자의 임베딩에 기인한 불확실성을 크게 감소시켜 추천의 신뢰성을 향상시킨다.
• 특징 정보 흐름을 조절함으로써 VBAE는 노이즈가 많거나 관련성이 없는 사용자 특징에 대한 과도한 의존을 피하고 모델의 일반화 능력을 향상시킨다.
• 모델은 밀도가 높은 평점 환경과 희소한 평점 환경 모두에서 일관된 성능 향상을 보이며, 그 신뢰성을 입증한다.
• 제거 실험 결과, 특히 낮은 평점 수 상황에서 사용자에 의존적인 채널 변수가 성능 향상에 핵심적인 역할을 한다는 것이 확인되었다.
• 개선된 추천 정확도와 안정성으로부터 볼 때, 이 방법은 사용자 특징을 활용하는 것과 그로 인한 노이즈 영향을 최소화하는 것 사이의 트레이드오프를 효과적으로 균형 잡고 있음을 입증한다.