[논문 리뷰] Deep Collaborative Autoencoder for Recommender Systems: A Unified Framework for Explicit and Implicit Feedback.

Qibing Li, Xiaolin Zheng|arXiv (Cornell University)|2017. 12. 25.

Recommender Systems and Techniques참고 문헌 45인용 수 8

한 줄 요약

이 논문은 비선형 표현 학습을 통해 명시적 피드백과 암시적 피드백을 동시에 모델링하는 통합적인 딥러닝 프레임워크인 딥 컬라보레이티브 오토에인코더(DCAE)를 제안한다. 삼단계 사전학습, 인기 기반 오차 재가중, 희소성 인지 데이터 증강을 통합함으로써 DCAE는 세 개의 실세계 데이터셋에서 최신 기술 수준의 성능을 달성하며, 암시적 설정에서 과적합을 완화하면서도 추천 정확도를 크게 향상시킨다.

ABSTRACT

In recent years, deep neural networks have yielded state-of-the-art performance on several tasks. Although some recent works have focused on combining deep learning with recommendation, we highlight three issues of existing works. First, most works perform deep content feature learning and resort to matrix factorization, which cannot effectively model the highly complex user-item interaction function. Second, due to the difficulty on training deep neural networks, existing models utilize a shallow architecture, and thus limit the expressiveness potential of deep learning. Third, neural network models are easy to overfit on the implicit setting, because negative interactions are not taken into account. To tackle these issues, we present a novel recommender framework called Deep Collaborative Autoencoder (DCAE) for both explicit feedback and implicit feedback, which can effectively capture the relationship between interactions via its non-linear expressiveness. To optimize the deep architecture of DCAE, we develop a three-stage pre-training mechanism that combines supervised and unsupervised feature learning. Moreover, we propose a popularity-based error reweighting module and a sparsity-aware data-augmentation strategy for DCAE to prevent overfitting on the implicit setting. Extensive experiments on three real-world datasets demonstrate that DCAE can significantly advance the state-of-the-art.

연구 동기 및 목표

• 행렬 분해에 의존함으로써 기존 딥러닝 모델이 복잡한 사용자-아이템 상호작용 함수를 포착하는 데 한계를 가짐.
• 현재 추천 모델에서 얕은 아키텍처로 인해 발생하는 딥 네트워크의 표현력 한계를 극복함.
• 암시적 피드백 설정에서 부정적 상호작용이 명시적으로 모델링되지 않아 발생하는 과적합 문제를 완화함.
• 단일 딥러닝 아키텍처 내에서 명시적 및 암시적 피드백을 효과적으로 처리할 수 있는 통합 프레임워크 개발

제안 방법

• 스택드 오토에인코더를 통해 비선형 사용자 및 아이템 표현을 학습하는 딥 컬라보레이티브 오토에인코더(DCAE) 아키텍처 제안.
• 명시적 피드백에서의 지도 학습, 비지도 특징 학습, 공동 최적화를 위한 피니팅을 조합한 삼단계 사전학습 전략 구현.
• 인기 있는 아이템의 손실을 낮추어 과적합을 감소시키기 위해 인기 기반 오차 재가중 모듈 도입.
• 인위적으로 부정 샘플의 다양성을 증가시켜 일반화 능력을 향상시키기 위해 희소성 인지 데이터 증강 기법 적용.
• 사용자 및 아이템 인코더에서 유래한 협업 필터링 신호를 이용해 공동 임베딩 공간에서 사용자-아이템 상호작용을 재구성함.
• 적응형 학습률과 정규화를 사용한 역전파를 통한 엔드 투 엔드 모델 최적화로 수렴성과 강인성을 향상함.

실험 결과

연구 질문

• RQ1 통합된 딥러닝 프레임워크가 추천 시스템에서 명시적 및 암시적 피드백을 효과적으로 모델링할 수 있는가?
• RQ2 삼단계 사전학습이 협업 필터링에서 딥 오토에인코더의 표현 품질과 수렴성에 어떻게 기여하는가?
• RQ3 인기 기반 오차 재가중이 암시적 피드백 시나리오에서 과적합을 어느 정도 감소시키는가?
• RQ4 희소성 인지 데이터 증강이 희소한 사용자-아이템 상호작용 행렬에서 모델 일반화 능력을 어떻게 향상시키는가?
• RQ5 제안된 DCAE 프레임워크가 실세계 추천 벤치마크에서 기존 최신 기술 수준의 모델을 초월하는가?

주요 결과

• DCAE는 세 개의 실세계 데이터셋에서 기존 최신 기술 수준의 모델보다 뚜렷한 성능 향상을 보이며, 뛰어난 추천 정확도를 입증함.
• 삼단계 사전학습 메커니즘이 명시적 및 비지도 신호를 활용해 모델 수렴성과 표현 품질을 향상시킴.
• 인기 기반 오차 재가중이 암시적 피드백 설정에서 인기 있는 아이템에 대한 과적합을 효과적으로 감소시키며 일반화 능력을 향상시킴.
• 희소성 인지 데이터 증강은 부정 샘플의 다양성을 증가시켜 더 견고하고 안정적인 학습 동역학을 유도함.
• 통합된 DCAE 프레임워크는 별도의 모델 헤드나 아키텍처가 필요 없이 명시적 및 암시적 피드백을 효과적으로 처리함.
• 실증 결과는 다양한 평가 지표에서 일관된 향상이 관찰되어 제안된 구성 요소들이 개별적으로나 조합적으로 모두 효과적임을 확인함.