[논문 리뷰] Collaborative Autoencoder for Recommender Systems

Qibing Li, Xiaolin Zheng외 1명|arXiv (Cornell University)|2017. 12. 25.

Recommender Systems and Techniques참고 문헌 33인용 수 4

한 줄 요약

이 논문은 비선형 행렬 분해와 협업 필터링을 통합하여 복잡한 사용자-아이템 상호작용을 모델링하는 딥러닝 프레임워크인 신경협업오토에인서(Neural Collaborative Autoencoder, NCAE)를 제안한다. 세 단계의 사전학습 전략, 오차 재가중, 데이터 증강을 통해 NCAE는 명시적 및 암시적 피드백 데이터셋에서 최신 기술들을 능가하며, 더 높은 추천 정확도와 과적합에 대한 강건성을 입증한다.

ABSTRACT

In recent years, deep neural networks have yielded state-of-the-art performance on several tasks. Although some recent works have focused on combining deep learning with recommendation, we highlight three issues of existing works. First, most works perform deep content feature learning and resort to matrix factorization, which cannot effectively model the highly complex user-item interaction function. Second, due to the difficulty on training deep neural networks, existing models utilize a shallow architecture, and thus limit the expressive potential of deep learning. Third, neural network models are easy to overfit on the implicit setting, because negative interactions are not taken into account. To tackle these issues, we present a generic recommender framework called Neural Collaborative Autoencoder (NCAE) to perform collaborative filtering, which works well for both explicit feedback and implicit feedback. NCAE can effectively capture the relationship between interactions via a non-linear matrix factorization process. To optimize the deep architecture of NCAE, we develop a three-stage pre-training mechanism that combines supervised and unsupervised feature learning. Moreover, to prevent overfitting on the implicit setting, we propose an error reweighting module and a sparsity-aware data-augmentation strategy. Extensive experiments on three real-world datasets demonstrate that NCAE can significantly advance the state-of-the-art.

연구 동기 및 목표

• 기존의 딥러닝 모델이 추천 시스템에서 복잡한 사용자-아이템 상호작용을 잘 모델링하지 못하는 한계를 해결하기 위해.
• 협업 필터링을 위한 더 깊고 더 표현력 있는 모델을 가능하게 하여 딥 네트워크의 얕은 아키텍처 문제를 해결하기 위해.
• 암시적 피드백 환경에서 부정적 상호작용이 명시적으로 모델링되지 않는 점을 감안해 과적합을 줄이기 위해.
• 명시적 및 암시적 피드백 데이터 모두에서 잘 작동하는 통합 프레임워크를 개발하기 위해.
• 감독학습 및 비감독학습 사전학습의 조합과 희소성 인식 데이터 증강을 통해 모델 일반화 능력을 향상시키기 위해.

제안 방법

• NCAE는 깊은 신경망을 통해 비선형 행렬 분해 과정을 활용하여 사용자-아이템 상호작용을 모델링함으로써 복잡한 상호작용 패턴을 포착한다.
• 세 단계의 사전학습 메커니즘은 사용자 및 아이템 특성에 대한 감독학습과 비감독학습 오토에인서 학습을 결합하여 깊은 가중치를 효과적으로 초기화한다.
• 오차 재가중 모듈은 손실 기울기를 조정하여 쉬운 부정 샘플의 영향을 줄이고 어려운 샘플에 집중함으로써 암시적 피드백에서의 과적합을 줄인다.
• 희소성 인식 데이터 증강 전략은 데이터 분포를 기반으로 합성 부정 샘플을 생성하여 상호작용 밀도가 낮은 환경에서의 일반화 능력을 향상시킨다.
• 모델은 역전파를 통해 공동 최적화되며, 사용자 및 아이템을 위한 공유 임bedding 레이어를 통해 엔드 투 엔드 학습을 가능하게 한다.
• 손실 함수와 샘플링 전략을 적절히 조정함으로써 아키텍처는 명시적 및 암시적 피드백을 모두 지원한다.

실험 결과

연구 질문

• RQ1 딥 네트워크 아키텍처가 협업 필터링에서 비선형적이고 복잡한 사용자-아이템 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 어떻게 하면 나쁜 초기화와 기울기 소실 문제를 피할 수 있는가?
• RQ3 암시적 피드백 환경에서 부정 샘플이 명시적으로 레이블링되지 않은 상황에서 과적합을 완화할 수 있는 전략은 무엇인가?
• RQ4 통합 프레임워크가 명시적 및 암시적 피드백 시나리오 모두에서 뛰어난 성능을 달성할 수 있는가?
• RQ5 비선형 행렬 분해를 오토에인서와 통합함으로써 추천 정확도는 어떻게 향상되는가?

주요 결과

• NCAE는 세 개의 실세계 데이터셋에서 최신 기술을 뛰어넘는 상태의 성능을 달성하며, 기존의 딥러닝 및 행렬 분해 모델보다 뚜렷하게 승리한다.
• 세 단계의 사전학습 메커니즘은 더 나은 초기 가중치를 제공함으로써 수렴 속도와 최종 모델 정확도를 향상시킨다.
• 오차 재가중 모듈은 어려운 부정 샘플에 집중함으로써 암시적 피드백에서의 과적합을 줄인다.
• 희소성 인식 데이터 증강 전략은 특히 상호작용 밀도가 낮은 영역에서 모델 일반화 능력을 향상시킨다.
• NCAE는 명시적 및 암시적 피드백 환경 모두에서 일관된 성능 향상을 보이며, 그 강건성을 입증한다.
• 비선형 행렬 분해 구성요소는 선형 또는 얕은 대안들보다 더 나은 복잡한 상호작용 패턴 모델링을 가능하게 한다.