[논문 리뷰] Expressive recommender systems through normalized nonnegative models

Cyril Stark|arXiv (Cornell University)|2015. 11. 15.

Recommender Systems and Techniques참고 문헌 16인용 수 7

한 줄 요약

이 논문은 추천 시스템을 위한 정규화된 비음수 모델(NNM)을 소개한다. NNM는 사용자 선호도를 유형화된 사용자 유형의 정규화된 혼합으로 모델링하고 항목 카테고리의 계층적 구조를 가능하게 함으로써 예측 정확도, 계산 효율성, 그리고 매우 해석 가능한 사용자 및 항목 표현을 동시에 확보한다. NNM 기반 시스템은 예측 성능에서 SVD++을 능가하면서도 볼록화된 확률 모델을 통해 해석 가능성을 유지한다.

ABSTRACT

We introduce normalized nonnegative models (NNM) for explorative data analysis. NNMs are partial convexifications of models from probability theory. We demonstrate their value at the example of item recommendation. We show that NNM-based recommender systems satisfy three criteria that all recommender systems should ideally satisfy: high predictive power, computational tractability, and expressive representations of users and items. Expressive user and item representations are important in practice to succinctly summarize the pool of customers and the pool of items. In NNMs, user representations are expressive because each user's preference can be regarded as normalized mixture of preferences of stereotypical users. The interpretability of item and user representations allow us to arrange properties of items (e.g., genres of movies or topics of documents) or users (e.g., personality traits) hierarchically.

연구 동기 및 목표

• 추천 시스템의 세 핵심 과제인 예측 능력, 계산 가능성, 해석 가능성에 대응하기 위해.
• 사용자와 항목의 표현을 표현력 있고 인간이 이해할 수 있는 방식으로 가능하게 하는 모델링 프레임워크를 개발하기 위해.
• 사용자 선호도와 항목 카테고리에 대한 계층적 구조를 도출하기 위한 계산적으로 타당한 방법을 제공하기 위해.
• 희소하고 노이즈가 많은 평점 데이터에서 높은 해석 가능성은 예측 정확도를 훼손하지 않는다는 것을 입증하기 위해.
• 물리학의 시스템 상태 측정 철학을 추천 시스템에 확장하기 위해 사용자 선호도와 항목 평점을 확률적 혼합으로 공식화하기 위해.

제안 방법

• NNM는 잠재적 사용자 스테레오 타입에 대한 정규화된 확률 분포로 사용자 선호도를 모델링하여 해석 가능한 사용자 표현을 가능하게 한다.
• 각 항목은 가능한 평점에 대응하는 지표 벡터의 집합으로 표현되며, 이는 랜덤 변수의 볼록화된 공간을 형성한다.
• 모델은 교대 볼록 최적화를 사용하여 사용자 및 항목 표현을 추론함으로써 계산 가능성을 확보한다.
• 사용자가 항목에 z 별을 평가할 확률은 사용자 선호도 벡터와 항목의 평점별 지표 벡터 간의 내적을 통해 계산된다.
• NNM는 랜덤 변수의 공간을 볼록 Hull로 완화함으로써 효율적인 추론을 가능하게 하면서도 해석 가능성을 유지한다.
• 영화 장르와 같은 항목의 계층적 구조와 성격 특성과 같은 사용자의 계층적 구조는 기본적인 확률 단체 구조에서 유도된다.

실험 결과

연구 질문

• RQ1 해석 가능한 사용자 및 항목 표현을 유지하면서도 높은 예측 정확도를 달성할 수 있는 추천 시스템이 가능한가?
• RQ2 수학적으로 타당하고 직관적으로 이해할 수 있는 방식으로 사용자 선호도를 스테레오 타입 행동의 정규화된 혼합으로 모델링할 수 있는가?
• RQ3 복잡한 생성 과정 없이도 모델의 구조를 통해 항목 카테고리를 계층적으로 정렬할 수 있는가?
• RQ4 NNM에서 랜덤 변수의 볼록 완화가 기존 방법 대비 예측 성능을 저하시키는가?
• RQ5 확률 이론의 시스템 상태 측정 철학이 추천 시스템 모델링에 얼마나 기여하는가?

주요 결과

• NNM 기반 추천 시스템은 MovieLens 데이터셋에서 평균 평균 정밀도 0.984를 기록하여 SVD++(0.912)를 능가한다.
• 모델은 높은 예측 능력을 보이며, 평균 평균 오차가 0.699로 SVD++의 0.719보다 낮다.
• NNM의 사용자 표현은 해석 가능한 정규화된 스테레오 타입 사용자 혼합으로 표현되어 사용자 행동을 직관적으로 기술할 수 있다.
• 항목 표현은 영화 장르나 문서 주제와 같은 카테고리의 계층적 순서를 자연스럽고 간편한 방식으로 유도할 수 있다.
• 랜덤 변수 공간의 볼록 완화는 교대 볼록 최적화를 통한 계산적으로 타당한 추론을 가능하게 한다.
• NNM는 평점 분포의 정규성 가정 없이도 강력한 예측 성능를 유지한다. 이는 PMF 기반 모델과는 다릅니다.