[논문 리뷰] Deep Collaborative Filtering with Multi-Aspect Information in Heterogeneous Networks

Chuan Shi, Xiaotian Han외 5명|arXiv (Cornell University)|2019. 09. 14.

Recommender Systems and Techniques참고 문헌 64인용 수 8

한 줄 요약

이 논문은 혼합 정보 네트워크에서 다각도 정보를 활용하여 협업 필터링을 향상시키는 딥 뉴럴 네트워크 기반 모델인 NeuACF와 NeuACF++을 제안한다. 메타패스를 통해 개별 요소 수준의 유사도 행렬을 추출하고, 이를 딥 뉴럴 네트워크와 자기주의 기반 메커니즘으로 융합함으로써, 실제 데이터셋에서 기존의 잠재 요인 모델 및 딥 뉴럴 네트워크 기반 모델을 크게 능가하는 최신 성능을 달성한다.

ABSTRACT

Recently, recommender systems play a pivotal role in alleviating the problem of information overload. Latent factor models have been widely used for recommendation. Most existing latent factor models mainly utilize the interaction information between users and items, although some recently extended models utilize some auxiliary information to learn a unified latent factor for users and items. The unified latent factor only represents the characteristics of users and the properties of items from the aspect of purchase history. However, the characteristics of users and the properties of items may stem from different aspects, e.g., the brand-aspect and category-aspect of items. Moreover, the latent factor models usually use the shallow projection, which cannot capture the characteristics of users and items well. In this paper, we propose a Neural network based Aspect-level Collaborative Filtering model (NeuACF) to exploit different aspect latent factors. Through modelling the rich object properties and relations in recommender system as a heterogeneous information network, NeuACF first extracts different aspect-level similarity matrices of users and items respectively through different meta-paths, and then feeds an elaborately designed deep neural network with these matrices to learn aspect-level latent factors. Finally, the aspect-level latent factors are fused for the top-N recommendation. Moreover, to fuse information from different aspects more effectively, we further propose NeuACF++ to fuse aspect-level latent factors with self-attention mechanism. Extensive experiments on three real world datasets show that NeuACF and NeuACF++ significantly outperform both existing latent factor models and recent neural network models.

연구 동기 및 목표

• 기존 협업 필터링 모델이 사용자-아이템 상호작용 기록에만 의존하여 다각도 사용자 선호도 및 아이템 특성 정보를 포착하지 못하는 한계를 해결하기 위해.
• 추천 시스템 내 다양한 객체 유형과 상호작용에서 개별 요소 수준의 특징을 체계적으로 추출하는 방법을 개발하기 위해.
• 딥 뉴럴 네트워크를 활용해 다각도에서 비선형 잠재 요인을 강력하게 학습함으로써 추천 정확도를 향상시키기 위해.
• 주의 메커니즘을 활용해 다각도 잠재 요인을 효과적으로 융합하여 정보성 있는 요소의 중요도를 우선순위화하기 위해.
• 제안된 모델이 기존의 잠재 요인 기반 및 딥 러닝 기반 추천 접근법보다 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• 모델은 추천 시스템 내 다양한 객체(사용자, 아이템, 브랜드 등)와 그 관계를 표현하기 위해 이질적 정보 네트워크(HIN)를 구성한다.
• 다양한 메타패스를 사용하여 사용자 및 아이템의 요소 수준 유사도 행렬을 추출함으로써 브랜드, 카테고리 등 다양한 요소를 포착한다.
• 이러한 요소 수준의 유사도 행렬을 딥 뉴럴 네트워크가 처리하여 비선형적이고 요소 특화된 잠재 요인을 학습한다.
• NeuACF는 학습된 요소 수준의 잠재 요인을 요소별 평균 또는 연결 후 최종 예측 레이어를 통해 융합한다.
• NeuACF++는 집계 과정에서 다양한 요소의 중요도를 동적으로 가중치를 적용하기 위해 자기주의 기반 메커니즘을 도입함으로써 융합을 향상시킨다.
• 예측 손실을 최적화하기 위해 음성 샘플링과 확률적 경사 하강법을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 단순히 구매 이력 외에도 사용자 선호도 및 아이템 특성의 여러 요소를 모델링함으로써 추천 성능 향상이 가능한가?
• RQ2 메타패스를 활용해 이질적 정보 네트워크에서 체계적으로 요소 수준의 특징을 추출할 수 있는가?
• RQ3 요소 수준의 유사도 행렬을 입력으로 사용할 때 딥 뉴럴 네트워크가 사용자와 아이템 간의 비선형 관계를 효과적으로 학습할 수 있는가?
• RQ4 요소 수준 잠재 요인의 주의 기반 융합 방식이 단순 평균 또는 연결 방식보다 성능 향상에 기여하는가?
• RQ5 차원 수, 깊이, 음성 샘플링 비율 등의 하이퍼파라미터가 모델 성능에 미치는 영향은 어떠한가?

주요 결과

• NeuACF와 NeuACF++는 ML100K, Amazon, 그리고 다른 특정하지 않은 데이터셋을 포함한 세 개의 실세계 데이터셋에서 기존의 전통적 잠재 요인 모델 및 최신 딥 뉴럴 네트워크 기반 모델을 크게 능가한다.
• NeuACF++의 성능은 ML100K에서 양성 인스턴스당 64개의 음성 샘플, Amazon에서는 128개의 음성 샘플에서 최고를 기록하며, 적절한 음성 샘플링이 일반화 성능을 향상시킨다는 것을 시사한다.
• NeuACF++의 최적의 은닉층 수는 ML100K에서 5개, Amazon에서는 3개로, 깊이가 깊어질수록 일부 경우에서 과적합되거나 항등 매핑을 학습하지 못할 수 있음을 시사한다.
• 두 모델의 최적 잠재 요인 차원은 약 16~32이며, 이를 초과하면 과적합 또는 노이즈로 인해 성능이 저하됨을 보여준다.
• NeuACF++의 자기주의 기반 메커니즘은 요소 수준의 요인 융합을 더 효과적으로 수행하여 모든 데이터셋에서 NeuACF보다 일관된 성능 향상을 이룬다.
• 결과적으로 다각도 모델링, 딥 뉴럴 네트워크, 주의 메커니즘의 융합은 상위-N 추천 정확도 향상에 매우 효과적인 접근법임을 입증한다.