[논문 리뷰] Mixture-of-tastes Models for Representing Users with Diverse Interests

Maciej Kula|arXiv (Cornell University)|2017. 11. 22.

Recommender Systems and Techniques참고 문헌 14인용 수 4

한 줄 요약

이 논문은 사용자를 다수의 잠재적 취향 벡터의 가중 조합으로 표현하는 '맛의 혼합 모델(mixture-of-tastes models)'을 제안하며, 다양한 사용자 관심사를 포착함으로써 추천 정확도를 향상시킨다. 이 방법은 순서 기반 모델과 인자분해 모델 모두에서 성능 향상을 이끌어내며, 특히 아마존과 굿북스와 같이 광범위한 사용자 행동을 보이는 데이터셋에서 최대 MRR 69% 향상이라는 뚜렷한 성과를 기록한다.

ABSTRACT

Most existing recommendation approaches implicitly treat user tastes as unimodal, resulting in an average-of-tastes representations when multiple distinct interests are present. We show that appropriately modelling the multi-faceted nature of user tastes through a mixture-of-tastes model leads to large increases in recommendation quality. Our result holds both for deep sequence-based and traditional factorization models, and is robust to careful selection and tuning of baseline models. In sequence-based models, this improvement is achieved at a very modest cost in model complexity, making mixture-of-tastes models a straightforward improvement on existing baselines.

연구 동기 및 목표

• 단일 모드의 사용자 표현 방식이 다수의 명백한 관심사를 가진 사용자를 포착하지 못하는 한계를 해결한다.
• 단일 잠재 벡터가 아닌 서로 다른 취향의 혼합으로 사용자를 모델링함으로써 추천 품질을 향상시킨다.
• 딥러닝 기반 순서 기반 모델과 전통적인 인자분해 모델 모두에 대해 제안된 모델을 평가하여 광범위한 적용 가능성을 입증한다.
• 하이퍼파rameter 조정에 대한 강건성과 Movielens, 아마존, 굿북스와 같은 다양한 데이터셋에서의 확장성을 입증한다.
• 취향의 다양성을 모델링할 경우 MRR와 같은 랭킹 지표에서 측정 가능한 성능 향상이 발생하며, 이는 상당한 계산 부담 없이도 달성 가능하다는 것을 확립한다.

제안 방법

• 각 사용자를 m개의 서로 다른 취향 벡터의 혼합으로 표현하며, 각 취향 벡터는 개별 항목에 대한 관련성을 결정하는 능력(주의도, attention) 벡터와 연결된다.
• 사용자 선호도를 주어진 항목 임베딩와 주의도 벡터 간의 내적을 통해 유도된 가중치의 가중 평균으로 계산한다.
• 두 가지 변형을 구현한다: 취향과 능력에 별도의 벡터를 사용하는 '임bedding-Mixture Factorization (EM-F)'와 혼합 가중치를 계산하기 위해 투영을 사용하는 'Projection-Mixture Factorization (PM-F)'이다.
• 혼합-맛 프레임워크를 순환 신경망 모델(예: 어텐션 기반 LSTM)과 고전적 행렬 인자분해 모델에 모두 적용한다.
• 표준 최적화 기법을 사용해 엔드 투 엔드로 훈련하며, 혼합 메커니즘은 모델의 순전파 과정에 통합된다.
• 기준 모델의 하이퍼파ram터를 최적화하기 위해 하이퍼파ram터 탐색을 수행하여 공정한 비교와 결과의 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 단일 벡터 표현 방식에 비해 다수의 잠재적 취향으로 사용자를 모델링할 경우 추천 정확도가 향상되는가?
• RQ2 순서 기반 모델과 인자분해 모델 간의 다양한 추천 시스템 유형에서 '맛의 혼합' 모델의 성능은 강력한 기준 모델에 비해 어떻게 비교되는가?
• RQ3 다양한 데이터셋과 모델 아키텍처에 최적화된 취향 구성 요소의 수는 얼마인가?
• RQ4 기준 모델의 하이퍼파ram터를 철저히 조정한 후에도 '맛의 혼합' 모델의 성능 향상이 유지되는가?
• RQ5 혼합 구성 요소 수가 늘어날수록 모델 복잡도는 어떻게 변화하며, 추가된 파ram터에 비해 성능 향상은 가치가 있는가?

주요 결과

• Movielens 10M 데이터셋에서 Mixture-LSTM 모델은 기준 LSTM 대비 MRR 기준 10% 향상되었으며, 아마존에서는 26%, 굿북스에서는 17% 향상되었다.
• 아마존 데이터셋에서 임베딩 혼합 모델은 기준 인자분해 모델 대비 MRR 69% 향상되어 고다양성 환경에서 뚜렷한 성과를 보였다.
• 굿북스에서는 임베딩 혼합 모델이 MRR 기준 12% 향상되었으나, 프로젝션 혼합 모델은 아마존에서 성능이 열 劣하여 더 높은 표현력에도 불구하고 최적화 과정에서 도전 과제가 있음을 시사한다.
• 혼합 구성 요소의 수가 증가할수록 성능이 향상되며, 이는 복용량-반응 관계를 보이며, 일반적으로 더 많은 구성 요소가 더 좋은 결과를 낳는다. 최적의 값은 데이터셋과 모델 유형에 따라 다름.
• 기준 모델과 혼합 모델 모두에 대해 하이퍼파ram터 탐색이 빠르게 수렴하며, 조정 이후에도 혼합 모델이 일관되게 기준 모델을 앞서는 것으로 나타나, 결과가 최적화 과정의 산물이 아님을 확인한다.
• 특히 순서 기반 모델에서 모델 복잡도 증가 최소화로도 뚜렷한 정확도 향상을 이룰 수 있어, 기존 시스템에 실용적이고 효과적인 업그레이드로 활용 가능하다.