[논문 리뷰] Recommender systems inspired by the structure of quantum theory

Cyril Stark|arXiv (Cornell University)|2016. 01. 22.

Advanced Bandit Algorithms Research참고 문헌 64인용 수 5

한 줄 요약

이 논문은 양자 이론의 수학적 구조를 활용하여 사용자 선호도와 아이템 특징을 양의 준정부형 행렬로 표현함으로써, 추천 시스템을 위한 양자 힌트 모델을 제안한다. 이는 MovieLens 데이터셋에서 SVD++ 및 PureSVD와 같은 최신 기법들과 비교해도 예측 성능이 유사하거나 뛰어나며, 특히 일부 데이터셋에서는 더 높은 해석 가능성과 지수적 차원 감소의 이점을 제공함을 보여준다.

ABSTRACT

Physicists use quantum models to describe the behavior of physical systems. Quantum models owe their success to their interpretability, to their relation to probabilistic models (quantization of classical models) and to their high predictive power. Beyond physics, these properties are valuable in general data science. This motivates the use of quantum models to analyze general nonphysical datasets. Here we provide both empirical and theoretical insights into the application of quantum models in data science. In the theoretical part of this paper, we firstly show that quantum models can be exponentially more efficient than probabilistic models because there exist datasets that admit low-dimensional quantum models and only exponentially high-dimensional probabilistic models. Secondly, we explain in what sense quantum models realize a useful relaxation of compressed probabilistic models. Thirdly, we show that sparse datasets admit low-dimensional quantum models and finally, we introduce a method to compute hierarchical orderings of properties of users (e.g., personality traits) and items (e.g., genres of movies). In the empirical part of the paper, we evaluate quantum models in item recommendation and observe that the predictive power of quantum-inspired recommender systems can compete with state-of-the-art recommender systems like SVD++ and PureSVD. Furthermore, we make use of the interpretability of quantum models by computing hierarchical orderings of properties of users and items. This work establishes a connection between data science (item recommendation), information theory (communication complexity), mathematical programming (positive semidefinite factorizations) and physics (quantum models).

연구 동기 및 목표

• 양자 물리학에서 유래된 모델이 데이터 과학, 특히 추천 시스템에 어떻게 적용될 수 있는지 탐색하기 위해.
• 사용자-아이템 추천에서 예측 성능, 계산 효율성, 해석 가능성 간의 상충 관계를 해결하기 위해.
• 양자 모델, 확률 모델, 행렬 분해 기법 간의 이론적 및 경험적 연결을 수립하기 위해.
• 일부 데이터셋에서 확률 모델보다 낮은 차원의 표현을 달성할 수 있음을 보여주어 더 효율적인 계산을 가능하게 하기 위해.
• 양자 힌트 분해를 통해 사용자 및 아이템 특성의 계층적 순서를 계산하는 방법을 개발하기 위해.

제안 방법

• 사용자 상태와 아이템 측정을 양자 상태와 관측 가능량으로 모델링하는 힐버트 공간 내에서 사용자와 아이템을 밀도 행렬(양의 준정부형 행렬)로 표현하기.
• 사용자가 아이템에 평점을 매길 확률을 사용자 상태와 아이템 영향 행렬의 곱의 트레이스로 계산하는 양의 준정부형 분해 문제로 추천 작업을 공식화하기.
• 관측된 평점들로부터 낮은 질량의 사용자 및 아이템 행렬 표현을 학습하기 위해 양자 힌트 최적화 알고리즘을 사용하기.
• 기존 기법들(예: 사용자 및 아이템 특성의 계층적 군집화)을 '양자화'하여 양자 모델과 확률 모델 간의 연결을 활용하기.
• 일부 데이터셋이 확률 모델보다 양자 모델보다 지수적으로 높은 차원이 필요한 것을 보여주기 위해 통신 복잡도 이론을 적용하기.
• 학습된 양자 표현의 고유벡터를 분석하여 사용자 및 아이템 특성의 계층적 순서를 계산하는 방법을 구현하기.

실험 결과

연구 질문

• RQ1 양자 힌트 모델은 SVD++ 및 PureSVD와 같은 기존 추천 시스템보다 더 뛰어난 예측 성능을 달성할 수 있는가?
• RQ2 확률 모델보다 양자 모델이 훨씬 낮은 차원을 요구하는 데이터셋이 존재하는가? 이는 더 효율적인 표현을 가능하게 하는가?
• RQ3 양자 모델을 사용하여 사용자 및 아이템 특성의 해석 가능한 계층적 구조를 어떻게 계산할 수 있는가?
• RQ4 행렬 분해의 맥락에서, 양자 모델과 압축 또는 압축 해제되지 않은 확률 모델 간의 이론적 관계는 무엇인가?
• RQ5 양자 모델의 해석 가능성은 사용자 및 아이템 특성의 의미 있는 시각화나 순서 정렬을 제공하는 데 활용될 수 있는가?

주요 결과

• 양자 힌트 추천 시스템은 MovieLens 100K 및 1M 데이터셋에서 SVD++ 및 PureSVD를 능가하는 평균 정밀도 및 재현율 메트릭을 보이며, 경쟁 가능한 예측 성능를 달성한다.
• 일부 데이터셋에서 확률 모델의 최소 차원이 양자 모델의 최소 차원보다 지수적으로 크며, 이는 표현 효율성에서의 지수적 이점임을 입증한다.
• 희소 데이터셋은 저차원의 양자 모델을 수용할 수 있으며, 이는 양자 모델이 사용자-아이템 평점 행렬의 희소성 처리에 특히 적합함을 시사한다.
• 제안된 방법은 학습된 양자 표현의 고유벡터를 분석하여 사용자 및 아이템 특성의 계층적 순서를 성공적으로 계산하였으며, 특성과 장르의 해석 가능한 군집화를 가능하게 한다.
• 양자 모델는 압축된 확률 모델의 실용적인 완화를 실현하며, 해석 가능성과 저차원 표현 간의 균형을 잘 이룬다.
• 이론적 분석을 통해 양자 모델의 최소 차원은 항상 해당 확률 모델의 최소 차원보다 작거나 같으며, 특정 데이터셋에서는 엄밀한 부등식이 성립함을 확인하였다.