[논문 리뷰] Hybrid Deep-Semantic Matrix Factorization for Tag-Aware Personalized Recommendation

Zhenghua Xu, Cheng Chen외 2명|arXiv (Cornell University)|2017. 08. 12.

Recommender Systems and Techniques참고 문헌 15인용 수 3

한 줄 요약

이 논문은 재구성 오차와 행렬 분해 오차를 동시에 최적화하기 위해 하이브리드 학습 신호를 사용하는 새로운 모델인 하이브리드 딥-세맨틱 행렬 분해(HDMF)를 제안한다. HDMF는 상태기반 기준 모델보다 뛰어난 성능을 보이며, 태그 기반 개인화 추천에서 최고의 기준 모델인 DSPR보다 평균 역수 순위(MRR)가 1.52배 높고, 평균 평균 정밀도(MAP)가 1.66배 높다.

ABSTRACT

Matrix factorization has now become a dominant solution for personalized recommendation on the Social Web. To alleviate the cold start problem, previous approaches have incorporated various additional sources of information into traditional matrix factorization models. These upgraded models, however, achieve only "marginal" enhancements on the performance of personalized recommendation. Therefore, inspired by the recent development of deep-semantic modeling, we propose a hybrid deep-semantic matrix factorization (HDMF) model to further improve the performance of tag-aware personalized recommendation by integrating the techniques of deep-semantic modeling, hybrid learning, and matrix factorization. Experimental results show that HDMF significantly outperforms the state-of-the-art baselines in tag-aware personalized recommendation, in terms of all evaluation metrics, e.g., its mean reciprocal rank (resp., mean average precision) is 1.52 (resp., 1.66) times as high as that of the best baseline.

연구 동기 및 목표

• 기존의 태그 기반 추천 모델의 한계, 즉 딥-세맨틱 모델에서의 열악한 최적화와 추가 정보 기반 행렬 분해(AMF) 모델에서의 미미한 성능 향상 문제를 해결하기 위해.
• 사회적 태그를 사용자 및 아이템 표현의 주요 소스로 효과적으로 활용하여 행렬 분해에서의 쿨 스트레트 문제를 극복하기 위해.
• 딥-세맨틱 학습을 통해 행렬 분해에서 얻어진 사용자 및 아이템 행렬의 의미를 명확히 하여 모델의 해석 가능성성을 향상시키기 위해.
• 재구성 오차와 행렬 분해 오차를 조합한 하이브리드 학습 신호를 도입함으로써 최적화 및 일반화 성능을 향상시키기 위해.
• AMF 모델이 태그 정보를 약한 정규화 항으로만 사용하는 것과 달리, 태그 정보가 최적화 과정에 가장 큰 기여를 할 수 있도록 하기 위해.

제안 방법

• HDMF는 태그 기반 사용자 및 아이템 행렬을 처리하기 위해 두 개의 딥 오토인코더를 활용하며, 코드 레이어에서 딥-세맨틱 표현을 학습하고 출력 레이어에서 원본 행렬을 재구성한다.
• 모델는 재구성 오차(입력 행렬과 출력 행렬 간의 차이)와 행렬 분해 오차(딥-세맨틱 행렬에서 유도된 예측된 사용자-아이템 평점과 실제 평점 간의 차이)를 동시에 최소화하는 하이브리드 학습 신호를 사용해 훈련된다.
• 사용자 및 아이템 잠재 요인은 오토인코더의 코드 레이어 표현에서 유도되며, 이는 도트 곱을 통해 사용자-아이템 평점을 예측하는 데 사용되어 행렬 분해의 핵심을 형성한다.
• 하이브리드 손실 함수는 더 나은 기울기 전파를 가능하게 하여 국소 최소값에서 벗어나고 최적화 안정성을 향상시킨다.
• 모델는 각 딥-세맨틱 행렬의 차원에 가장 영향을 미치는 입력 태그를 식별함으로써 해석 가능성이 있다. 이는 잠재 요인의 의미를 명확히 하여 의미 있는 해석을 가능하게 한다.
• AMF 모델이 태그 정보를 약한 정규화 항으로만 다루는 것과는 달리, HDMF는 직접적으로 태그 정보를 행렬 분해 과정에서 분해된 사용자 및 아이템 행렬에 통합함으로써 그 영향을 극대화한다.

실험 결과

연구 질문

• RQ1 딥-세맨틱 모델링과 행렬 분해를 효과적으로 융합하여 태그 기반 개인화 추천 성능을 향상시킬 수 있는가?
• RQ2 재구성 오차와 행렬 분해 오차를 조합한 하이브리드 학습 신호가 단일 목표 학습보다 최적화 및 성능 측면에서 더 우수한가?
• RQ3 각 차원에 대해 핵심 입력 태그를 식별함으로써 HDMF의 딥-세맨틱 행렬을 해석 가능하게 만들 수 있는가? 이는 전통적인 행렬 분해의 해석 불가능성 문제를 해결할 수 있는가?
• RQ4 HDMF는 DSPR 및 AMF 변종과 같은 최신 기술 수준의 모델과 비교해 어떤 평가 지표에서나 추천 정확도와 강건성 면에서 뛰어나게 성능을 내는가?
• RQ5 행렬 분해를 통한 협업 필터링 신호 통합이 쿨 스트레트 상황에서 딥-세맨틱 모델의 성능 향상에 얼마나 기여하는가?

주요 결과

• HDMF는 Delicious 데이터셋에서 모든 평가 지표(P@k, R@k, F@k, MAP, MRR)에서 7개의 기준 모델을 모두 압도적으로 뛰어넘는 성능을 보였다.
• HDMF의 평균 역수 순위(MRR)는 최고의 기준 모델인 DSPR보다 1.52배 높았으며, 평균 평균 정밀도(MAP)는 1.66배 높았다.
• HDMF의 상대적 성능 향상은 점수 순위 k가 증가함에 따라 더욱 두드러지며, k=50일 때 P@k에서 두 배 이상의 향상을 보이며, 더 긴 추천 목록에서의 성능 우수성을 입증했다.
• 표준 행렬 분해 모델(MF) 대비 HDMF는 MAP와 MRR에서 각각 약 70%와 130% 향상되었으며, 효과적인 태그 통합 덕분에 뚜렷한 성능 향상을 이룬 것으로 나타났다.
• MF_sf 및 MF_tc와 같은 AMF 모델은 MF 대비 MAP와 MRR에서 각각 2.4%와 6.8% 뿐만으로 향상되었지만, HDMF의 성능 향상은 이와는 극명하게 대비되며, HDMF가 분해된 행렬에 태그 정보를 직접 모델링함으로써 그 우월성을 입증했다.
• 하이브리드 학습 신호 덕분에 최적화 및 기울기 전파가 향상되어, 단일 목표 학습에 의존하는 모델들과는 달리 국소 최소값에서 벗어나 더 나은 수렴 성능을 달성했다.