[논문 리뷰] Neural Collaborative Autoencoder

Qibing Li, Xiaolin Zheng외 1명|arXiv (Cornell University)|2017. 12. 25.

Recommender Systems and Techniques인용 수 6

한 줄 요약

이 논문은 명시적 피드백과 암시적 피드백 모두에 효과적으로 작용하는 협업 필터링을 위한 딥러닝 프레임워크인 신경협업오토에인서(Neural Collaborative Autoencoder, NCAE)를 제안한다. 세 단계의 사전학습 전략, 오차 재가중, 희소성 인지 데이터 증강 기법을 활용함으로써 NCAE는 실제 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 특히 희소한 훈련 조건에서 NCF와 eALS와 같은 강력한 베이스라인보다 최상위 50개 추천 지표에서 최대 66.3% 높은 성능을 기록하였다.

ABSTRACT

In recent years, deep neural networks have yielded state-of-the-art performance on several tasks. Although some recent works have focused on combining deep learning with recommendation, we highlight three issues of existing models. First, these models cannot work on both explicit and implicit feedback, since the network structures are specially designed for one particular case. Second, due to the difficulty on training deep neural networks, existing explicit models do not fully exploit the expressive potential of deep learning. Third, neural network models are easier to overfit on the implicit setting than shallow models. To tackle these issues, we present a generic recommender framework called Neural Collaborative Autoencoder (NCAE) to perform collaborative filtering, which works well for both explicit feedback and implicit feedback. NCAE can effectively capture the subtle hidden relationships between interactions via a non-linear matrix factorization process. To optimize the deep architecture of NCAE, we develop a three-stage pre-training mechanism that combines supervised and unsupervised feature learning. Moreover, to prevent overfitting on the implicit setting, we propose an error reweighting module and a sparsity-aware data-augmentation strategy. Extensive experiments on three real-world datasets demonstrate that NCAE can significantly advance the state-of-the-art.

연구 동기 및 목표

• 기존 딥러닝 모델이 협업 필터링에서 명시적 피드백과 암시적 피드백을 효과적으로 처리하지 못하는 한계를 해결하기 위해.
• 데이터 희소성과 과적합 문제로 인해 추천 시스템에서 딥 네트워크를 훈련하는 데 어려움이 존재함에 따라, 특히 암시적 피드백 설정에서 이를 극복하기 위해.
• 비선형 사용자-아이템 관계를 오토에인서 기반 비선형 행렬분해를 통해 포괄할 수 있는 확장 가능하고 강건한 아키텍처를 개발하기 위해.
• 새로운 사전학습, 오차 재가중, 데이터 증강 전략을 도입함으로써 희소 데이터에서 일반화 능력과 성능을 향상시키기 위해.

제안 방법

• NCAE는 사용자 또는 아이템 선호 벡터를 비선형 행렬분해를 통해 재구성하는 딥 오토에인서 아키텍처를 사용하며, 상호작용 수준이 아닌 사용자/아이템 수준에서 작동함으로써 확장성을 확보한다.
• 세 단계 사전학습 메커니즘은 첫 번째 레이어의 지도학습 사전학습과 깊이 있는 레이어의 비지도학습 사전학습을 결합하여 훈련 안정성과 표현 학습 성능을 향상시킨다.
• 오차 재가중 모듈은 모든 관측되지 않은 상호작용을 부정 피드백으로 간주하여 암시적 피드백 학습에서 모델의 강건성을 향상시킨다.
• 희소성 인지 데이터 증강 전략은 훈련 중에 합성된 아이템 상관관계 패턴을 도입하여 순위 성능 향상과 과적합 감소를 도모한다.
• 스parsely 정의된 전방 및 역방향 모듈(텐서플로우 연산을 통해)을 사용하여 희소한 사용자 및 아이템 벡터를 효율적으로 처리함으로써 대규모 데이터셋에서 빠른 배치 훈련을 가능하게 한다.
• 희소 입력 벡터를 위해 특별히 설계된 새로운 손실 함수는 훈련 안정성과 성능 향상에 기여한다.

실험 결과

연구 질문

• RQ1 통합된 딥러닝 프레임워크가 협업 필터링에서 명시적 피드백과 암시적 피드백을 효과적으로 동시에 처리할 수 있는가?
• RQ2 추천 시스템에서 딥 네트워크를 효과적으로 사전학습시킬 수 있는 방법은 무엇인가? 이는 훈련의 불안정성과 수렴 불량 문제를 극복하기 위함이다.
• RQ3 암시적 피드백 설정에서 음성 샘플이 관측되지 않으며, 비선형 모델이 기억 현상에 취약한 상황에서 과적합을 완화하기 위한 전략은 무엇인가?
• RQ4 제안된 아키텍처는 대규모 희소 데이터셋에 어떻게 스케일업되며, 높은 성능를 유지할 수 있는가?
• RQ5 사전학습, 오차 재가중, 데이터 증강 전략이 데이터 희소성 상황에서 추천 정확도와 강건성에 얼마나 기여하는가?

주요 결과

• 훈련 데이터가 전체 데이터의 40%에 불과할 경우, NCAE+는 HR@50에서 eALS와 NCF를 최대 66.3% 높게 기록하였고, NDCG@100에서는 50.0% 높은 성능를 보였다.
• Last.fm 데이터셋에서 NCAE+는 훈련 데이터가 40%일 때 HR@50가 0.123을 기록하였으며, 이는 eALS(80% 훈련 데이터)와 NCF(60% 훈련 데이터)를 모두 초월하였다.
• NCAE는 뛰어난 확장성을 보이며, ML-10M 데이터셋에서 히든 차원 K에 따라 에포크당 훈련 시간이 거의 선형적으로 증가하여, 수렴에 60 에포크 동안 6.3초만에 완료되었다.
• 데이터 희소성이 증가할수록 성능 향상이 뚜렷하게 나타나, 기존 베이스라인 대비 저자료 환경에서 훨씬 뛰어난 강건성을 보였다.
• 세 단계 사전학습 메커니즘은 깊이 있는 아키텍처가 더 나은 성능을 낼 수 있도록 깊이 있는 표현을 효과적으로 초기화함으로써, 특히 명시적 피드백에서 뛰어난 성능 향상을 이끌어냈다.
• 희소성 인지 데이터 증강 전략은 추론 과정에서 진짜 양성 아이템의 더 나은 위치를 발견함으로써 순위 품질 향상에 기여하였다.