[논문 리뷰] Side Information Fusion for Recommender Systems over Heterogeneous Information Network

Huan Zhao, Quanming Yao외 3명|arXiv (Cornell University)|2018. 01. 08.

Recommender Systems and Techniques참고 문헌 14인용 수 6

한 줄 요약

이 논문은 이질적 정보 네트워크(HINs)를 활용하여 사용자와 아이템 간의 복잡한 의미적 유사성을 포착하기 위해 메타그래프를 활용하는 새로운 프레임워크를 제안한다. 메타그래프를 기반으로 다수의 메타그래프에서 잠재 특징을 공동으로 학습하는 두 가지 모델—'MF + FM'과 계층적 어텐션 퓌전(HAF)—을 도입하여, 네 가지 실세계 데이터셋에서 최신 기술 대비 추천 정확도를 크게 향상시킨다.

ABSTRACT

Collaborative filtering (CF) has been one of the most important and popular recommendation methods, which aims at predicting users' preferences (ratings) based on their past behaviors. Recently, various types of side information beyond the explicit ratings users give to items, such as social connections among users and metadata of items, have been introduced into CF and shown to be useful for improving recommendation performance. However, previous works process different types of information separately, thus failing to capture the correlations that might exist across them. To address this problem, in this work, we study the application of heterogeneous information network (HIN) to enhance CF-based recommendation methods. However, we face challenging issues in HIN-based recommendation, i.e., how to capture similarities of complex semantics between users and items in a HIN, and how to effectively fuse these similarities to improve final recommendation performance. To address these issues, we apply metagraph to similarity computation and solve the information fusion problem with a ``matrix factorization (MF) + factorization machine (FM)'' framework. For the MF part, we obtain the user-item similarity matrix from each metagraph and then apply low-rank matrix approximation to obtain latent features for both users and items. For the FM part, we apply FM with Group lasso (FMG) on the features obtained from the MF part to train the recommending model and, at the same time, identify the useful metagraphs. Besides FMG, a two-stage method, we further propose an end-to-end method, hierarchical attention fusing (HAF), to fuse metagraph based similarities for the final recommendation. Experimental results on four large real-world datasets show that the two proposed frameworks significantly outperform existing state-of-the-art methods in terms of recommendation performance.

연구 동기 및 목표

• 기존의 협업 필터링 방법이 사회적, 텍스트적, 메타데이터 등의 측면 정보 유형을 별개로 처리함으로써 상호 유형 간 상관관계를 상실하는 한계를 해결한다.
• 기존 메타패스의 의미적 제약을 초월하여 이질적 정보 네트워크(HINs) 내에서 복잡한 다단계 관계를 모델링하기 위해 메타그래프를 도입한다.
• 다양한 메타그래프 유도 유사도를 융합하는 통합 프레임워크를 개발하여 사용자-아이템 추천 성능을 향상시킨다.
• 계층적 어텐션 메커니즘을 통해 메타그래프 중요도와 특징 융합을 효과적으로 끝에서 끝까지 학습할 수 있도록 한다.
• 다양한 실세계 데이터셋에서 최신 기술 대비 제안된 모델의 추천 정확도 우수성을 입증한다.

제안 방법

• HIN 내의 노드 유형과 엣지 유형의 순서인 메타그래프를 사용하여 사용자와 아이템 간의 복잡한 의미적 경로를 정의한다. 예: User → Review → Aspect → User → Business.
• 각 메타그래프의 사용자-아이템 유사도 행렬에 대해 핵심 범수 정규화를 적용한 행렬 분해(MF)를 사용하여 비지도 방식으로 낮은 랭크의 잠재 특징을 추출한다.
• 그룹 라소 정규화를 적용한 인자 분해 기반의 기계학습(FMG)을 사용하여 다양한 메타그래프에서 유도된 잠재 특징을 융합하며, 정보가 많은 메타그래프 자동 선택을 가능하게 한다.
• 노드 수준과 메타그래프 수준의 어텐션 메커니즘을 적용하여 메타그래프 기반 임베딩을 동적으로 가중하고 통합하는 엔드 투 엔드 딥 러닝 모델인 계층적 어텐션 퓌전(HAF)을 제안한다.
• 노드 수준에서는 다중 헤드 어텐션 메커니즘을, 메타그래프 수준에서는 학습 가능한 어텐션 벡터를 사용하여 관련 있는 의미적 경로를 우선순위로 배정한다.
• 확률적 경사 하강법을 사용하여 모델을 최적화하고 조기 정지 기법을 적용하며, 임베딩 크기, 어텐션 헤드 수, 어텐션 벡터 크기 등의 하이퍼파라미터를 튜닝한다.

실험 결과

연구 질문

• RQ1 사회적, 텍스트적, 메타데이터 등의 다양한 종류의 측면 정보를 통합 프레임워크 내에서 효과적으로 융합하여 협업 필터링 성능을 향상시킬 수 있는가?
• RQ2 기존 메타패스를 초월하여 메타그래프가 이질적 정보 네트워크 내에서 추천을 위해 복잡한 의미적 관계를 얼마나 잘 포착할 수 있는가?
• RQ3 예를 들어 계층적 어텐션과 같은 학습 가능한 융합 메커니즘이, 수작업 설계되거나 정규화된 융합 전략보다 메타그래프 기반 특징을 융합하는 데서 더 우수한 성능을 낼 수 있는가?
• RQ4 실세계 추천 시나리오에서 사용자 선호도를 가장 잘 예측하는 메타그래프의 유형은 무엇인가? (예: 리뷰 및 요약을 포함한 메타그래프)
• RQ5 임베딩 크기 및 어텐션 헤드 수와 같은 하이퍼파라미터가 제안된 HAF 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 HAF 모델은 네 가지 데이터셋(예: Amazon, Yelp, Diginom, 다른 하나)에서 모두 최고의 성능을 기록했으며, 최신 기술 대비 테스트 RMSE 값이 뚜렷이 낮았다.
• Amazon 데이터셋에서 HAF는 테스트 RMSE 0.852를 기록하여 두 번째로 우수한 방법보다 5.7% 우수한 성능을 보여, 복잡한 의미적 관계를 효과적으로 포착함을 입증했다.
• 그룹 라소 정규화를 적용한 MF+FM 프레임워크는 가장 정보가 많은 메타그래프를 효과적으로 식별하고 우선순위를 매겨 일반화 성능을 향상시키고, 관련 없는 측면 정보에서 유도되는 노이즈를 감소시켰다.
• HAF의 계층적 어텐션 메커니즘은 의미적으로 풍부한 메타그래프—예를 들어 U→R→A→U→B (User→Review→Aspect→User→Business)—에 더 높은 어텐션 가중치를 할당하는 것을 학습했으며, 이는 텍스트 및 평점 기반의 유사성을 포착하는 데 핵심적이다.
• 하이퍼파라미터 분석 결과, 출력 임베딩 크기 32, Amazon에서는 어텐션 헤드 수 3개, Yelp에서는 4개, 메타그래프 수준 어텐션 벡터 크기 32일 때 최적의 성능을 기록했다.
• 어텐션 가중치의 시각화 결과, 리뷰의 요약 언급 등 텍스트 콘텐츠를 포함한 메타그래프가 일관되게 가장 중요한 것으로 평가되었으며, 이는 Amazon 및 Yelp와 같은 플랫폼에서 리뷰 텍스트의 영향력과 일치한다.