[논문 리뷰] Collaborative Recurrent Autoencoder: Recommend while Learning to Fill in the Blanks

Hao Wang, Xingjian Shi외 1명|arXiv (Cornell University)|2016. 11. 02.

Recommender Systems and Techniques참고 문헌 22인용 수 79

한 줄 요약

이 논문은 순서가 있는 콘텐츠 시퀀스(예: 기사 제목, 영화 줄거리)를 생성하고 사용자 평점을 예측하는 데 동시에 사용하는 협업 필터링 프레임워크 내에서 노이즈 제거 순환 오토인코더를 활용한 새로운 하이브리드 추천 모델인 협업 순환 오토인코더(CRAE)를 제안한다. CRAE는 순서적 의존성과 사용자-아이템 상호작용을 동시에 모델링하여 CiteULike 및 Netflix 데이터셋에서 상태의 기술(SOTA)을 초월하는 성능을 보이며, 추천 및 시퀀스 생성 작업 모두에서 뛰어난 성능을 발휘한다.

ABSTRACT

Hybrid methods that utilize both content and rating information are commonly used in many recommender systems. However, most of them use either handcrafted features or the bag-of-words representation as a surrogate for the content information but they are neither effective nor natural enough. To address this problem, we develop a collaborative recurrent autoencoder (CRAE) which is a denoising recurrent autoencoder (DRAE) that models the generation of content sequences in the collaborative filtering (CF) setting. The model generalizes recent advances in recurrent deep learning from i.i.d. input to non-i.i.d. (CF-based) input and provides a new denoising scheme along with a novel learnable pooling scheme for the recurrent autoencoder. To do this, we first develop a hierarchical Bayesian model for the DRAE and then generalize it to the CF setting. The synergy between denoising and CF enables CRAE to make accurate recommendations while learning to fill in the blanks in sequences. Experiments on real-world datasets from different domains (CiteULike and Netflix) show that, by jointly modeling the order-aware generation of sequences for the content information and performing CF for the ratings, CRAE is able to significantly outperform the state of the art on both the recommendation task based on ratings and the sequence generation task based on content information.

연구 동기 및 목표

• 기존 하이브리드 추천 시스템이 콘텐츠 모델링에 위해 단어의 순서와 국소적 맥락을 忽시하는 bag-of-words 또는 고정 커널 CNN을 사용하는 데서 비롯하는 한계를 해결하기 위해.
• 노이즈 제거 오토인코더를 비-i.i.d.인 CF 데이터에 일반화하여 순환 신경망(RNNs)과 협업 필터링(CF) 간 격차를 메우기 위해.
• 시퀀스 생성과 평점 예측을 동시에 최적화하는 강력한 종단 간(end-to-end) 모델을 개발하여 정확한 추천과 유창한 콘텐츠 생성을 모두 가능하게 하기 위해.
• 성능 향상과 모델의 강인성 향상을 위해 새로운 학습 가능한 풀링 기법과 분포 인식 노이즈 제거 메커니즘을 도입하기 위해.

제안 방법

• CRAE는 노이즈 제거 순환 오토인코더(DRAE)와 협업 필터링을 결합한 계층적 베이지안 생성 모델을 사용하여 콘텐츠 시퀀스와 사용자-아이템 평점의 공동 학습을 가능하게 한다.
• 노이즈가 비선형 활성화 이전의 은닉 상태에 삽입되는 새로운 노이즈 제거 기법을 사용하며, 비선형성은 결정론적 값이 아닌 분포에 적용되어 강인성을 향상시킨다.
• 학습 가능한 풀링 메커니즘은 가변 길이의 시퀀스를 시간 단계에 걸친 은닉 상태를 통합하여 고정 길이의 표현으로 변환하는 미분 가능한 풀링 연산을 사용한다.
• 노이즈가 있는 가우시안 분포를 따르는 은닉 상태에 대한 기대값을 계산하기 위해 시그모이드 기반 근사법을 사용하여 확률적 계산 그래프를 통해 효율적인 역전파를 가능하게 한다.
• 에코더는 게이트드 RNNs(GRU 유사 유닛 포함)를 사용해 순서적 의존성을 포착하고, 디코더는 원본 시퀀스를 재구성한다.
• 협업 필터링 구성 요소는 낮은 랭크 행렬 분해를 통해 사용자-아이템 상호작용을 모델링하며, 공동 손실 함수를 통해 시퀀스 생성 목표와 통합된다.

실험 결과

연구 질문

• RQ1 순환 오토인코더가 협업 필터링 환경에 효과적으로 적응되어 사용자-아이템 평점과 콘텐츠 시퀀스 생성을 동시에 모델링할 수 있는가?
• RQ2 RNN을 통해 콘텐츠 시퀀스의 단어 순서와 국소적 맥락을 모델링할 경우, bag-of-words나 고정 커널 CNN 대비 더 나은 추천 성능을 달성할 수 있는가?
• RQ3 확률적 은닉 상태에 적용된 노이즈 제거 기법이 하이브리드 추천 시스템의 일반화 능력과 강인성 향상에 기여하는가?
• RQ4 시퀀스 생성과 평점 예측을 동시에 학습하는 것과 두 단계 또는 별도의 학습 방식을 비교했을 때 어떤 것이 더 우수한 성능을 보이는가?
• RQ5 제안된 학습 가능한 풀링과 분포 인식 비선형성은 기존의 딥 생성 모델 대비 성능 향상과 학습 효율성 향상에 기여하는가?

주요 결과

• CRAE는 CiteULike 및 Netflix 데이터셋에서 추천 및 시퀀스 생성 작업 모두에서 상태의 기술(SOTA) 모델을 크게 능가하며, CiteULike와 Netflix 데이터셋에서 recall@M이 높아 향상된 성능을 보였다.
• CiteULike에서 CRAE는 M=5일 때 recall@M이 0.421을 기록하여 다음으로 우수한 방법보다 5퍼센트 이상 뛰어나 강력한 추천 성능를 입증했다.
• Netflix에서는 M=5일 때 recall@M가 0.389를 기록하여 대규모이고 희박한 평점 데이터에서도 일관된 성능 향상을 보였다.
• 제거 분석 결과, 공동 학습이 핵심임을 확인했다: λv ≪ 1 또는 λv ≫ 1일 경우 두 단계 학습 제약 조건에 강제로 놓였을 때 성능가 급격히 저하되었으며, 이는 시퀀스 모델링과 CF 간의 상호보완적 상호작용을 검증했다.
• 제안된 분포 인식 비선형성은 CDL에서 사용하는 계층별 접근 방식보다 더 안정적이고 효율적인 학습을 가능하게 했으며, 빠른 수렴과 더 나은 일반화 성능으로 이를 입증했다.
• 모델는 평점의 희박성에 대해 강인성을 보였으며, 희박한 평점 데이터에서도 높은 성능를 유지했고, 결정론적 모델는 성능 저하가 심각하게 발생하는 것과 대비되었다.