[논문 리뷰] Deep Heterogeneous Autoencoders for Collaborative Filtering

Tianyu Li, Yukun Ma외 4명|arXiv (Cornell University)|2018. 12. 17.

Recommender Systems and Techniques참고 문헌 15인용 수 6

한 줄 요약

이 논문은 협업 필터링을 위해 딥이종성 오토인코더(DHA)를 제안하며, 정적 데이터(예: 사용자 프로필, 항목 태그)에 대해 스택드 노이즈 제거 오토인코더(SDAE)를 활용하고, 순차적 구매 이력에 대해 RNN 인코더-디코더(RNNED)와 LSTMs를 사용하여 변화하는 사용자 선호도를 모델링한다. 이 모델은 이종 데이터 소스로부터 공동으로 학습된 공유 잠재 표현을 통해 최신 기술 성능을 달성하며, 전자상거래 및 MovieLens 데이터셋에서 평균 평균 정밀도(MAP)와 리콜을 최대 36.7% 향상시킨다.

ABSTRACT

This paper leverages heterogeneous auxiliary information to address the data sparsity problem of recommender systems. We propose a model that learns a shared feature space from heterogeneous data, such as item descriptions, product tags and online purchase history, to obtain better predictions. Our model consists of autoencoders, not only for numerical and categorical data, but also for sequential data, which enables capturing user tastes, item characteristics and the recent dynamics of user preference. We learn the autoencoder architecture for each data source independently in order to better model their statistical properties. Our evaluation on two MovieLens datasets and an e-commerce dataset shows that mean average precision and recall improve over state-of-the-art methods.

연구 동기 및 목표

• 사용자 프로필, 항목 설명, 태그, 순차적 구매 이력과 같은 이종 보조 정보를 통합하여 협업 필터링의 데이터 희소성 문제를 해결한다.
• 통합 표현 프레임워크를 통해 정적 사용자 및 항목 특성과 시간에 따라 변화하는 사용자 선호도의 동적 이동을 모두 모델링한다.
• 다양한 데이터 유형으로부터 독립적인 데이터 특화 오토인코더 아키텍처를 통해 공유 잠재 특징을 학습하여 추천 정확도를 향상시킨다.
• 최근 사용자 행동의 순차적 모델링이 정적 보조 정보만을 사용하는 것보다 추천 성능을 크게 향상시킨다는 것을 입증한다.

제안 방법

• 모델은 수치형 및 범주형 데이터(예: 사용자 인구통계학적 정보, 항목 태그)로부터 저차원이고 강건한 표현을 학습하기 위해 스택드 노이즈 제거 오토인코더(SDAE)를 사용한다.
• 순차적 데이터(예: 사용자 구매 이력)의 경우, 시간 동적 특성을 캡처하고 변화하는 사용자 관심사를 반영하기 위해 장기 단기 기억(LSTM) 유닛을 갖춘 순환 신경망 인코더-디코더(RNNED)를 적용한다.
• 각 데이터 소스는 통계적 특성에 맞춰진 오토인코더 아키텍처를 통해 독립적으로 인코딩되며, 각 소스에 대해 다른 은닉층과 뉴런 수를 가질 수 있다.
• 각 데이터 소스에서 유도된 국소 표현들이 공동 잠재 공간에 융합되어 사용자-항목 상호작용과 협업 필터링 신호를 함께 모델링한다.
• 최종 사용자-항목 상호작용 행렬은 학습된 사용자 및 항목 잠재 요인 행렬 간의 내적곱으로 근사되며, 그리드 서치로 최적화된 초기화 파rameter를 사용한 확률적 경사 하강법으로 학습된다.
• 모델은 표현 학습과 협업 필터링 최적화를 번갈아 수행하며, 각 특징 추출 단계당 3회의 교차 에포크와 3회의 학습 에포크를 반복한다.

실험 결과

연구 질문

• RQ1 사용자 프로필, 항목 설명, 순차적 구매 이력과 같은 이종 보조 데이터를 통합하면 희소 데이터 환경에서 협업 필터링 성능을 향상시킬 수 있는가?
• RQ2 RNN 기반 인코더를 사용해 순차적 사용자 행동을 모델링하면 정적 특징 모델링만으로는 달리, 동적 사용자 선호도를 더 잘 포착할 수 있는가?
• RQ3 각 데이터 소스에 대해 독립적인 오토인코더 아키텍처를 사용하는 것이 표현 품질과 후속 추천 정확도에 어떤 영향을 미치는가?
• RQ4 최근 사용자 구매 시퀀스가 현재 사용자 관심사를 얼마나 잘 반영하며, 오프라인 제품 추천 성능을 얼마나 향상시키는가?

주요 결과

• 오프라인페이 전자상거래 데이터셋에서 DHA-all은 d=50일 때 MAP@100이 0.0424를 기록하여 베이스라인 은닉-협업 필터링 모델(0.0155) 대비 42.4% 향상된 성능을 보였다.
• DHA-RNNED-s5(5단계 구매 이력)는 d=150일 때 MAP@100이 0.0367로, DHA-RNNED-s10(0.0339)보다 뛰어나, 최근 구매 이력이 현재 선호도를 더 잘 반영한다는 가설을 뒷받침한다.
• DHA-RNNED-item은 온라인 구매 시퀀스와 항목 장르 설명만을 모델링했을 때, d=50일 때 MAP@100이 0.0394를 기록하여 CDL(0.0296)과 DCF(0.0237)를 모두 초월했으며, 사용자 등록 데이터 없이도 순차적 데이터의 가치가 있음을 시사한다.
• 모든 데이터 소스를 융합한 DHA-all 모델은 모든 설정에서 가장 높은 MAP와 리콜 성능을 기록하여 정적 및 순차적 정보를 조합함으로써의 이점이 있음을 입증했다.
• 더 많은 보조 정보를 사용했음에도 DCF는 CDL보다 성능이 열 劣했으며, 이는 노이즈가 많거나 오래된 사용자 등록 데이터가 성능을 떨어뜨릴 수 있음을 보여주며, 데이터 품질과 관련성의 중요성을 강조한다.