[논문 리뷰] Ordinal Non-negative Matrix Factorization for Recommendation

Olivier Gouvert, Thomas Oberlin외 1명|arXiv (Cornell University)|2020. 06. 01.

Recommender Systems and Techniques참고 문헌 31인용 수 8

한 줄 요약

이 논문은 추천 시스템에서 순서형 데이터를 위한 새로운 비음수 행렬 분해(NMF) 방법인 OrdNMF를 제안한다. 이 방법은 이진화하지 않고도 순서형 평점 또는 양자화된 상호작용을 모델링할 수 있다. 역감마 분포로부터 추출된 잡음이 첨가된 임계값 기반의 잠재 변수 모델을 사용함으로써, 이진화된 PF나 BePoF보다 더 풍부한 데이터 구조를 유지하며, 명시적 및 암시적 데이터셋 모두에서 뛰어난 추천 성능과 더 나은 사후 예측 적합도를 달성한다.

ABSTRACT

We introduce a new non-negative matrix factorization (NMF) method for ordinal data, called OrdNMF. Ordinal data are categorical data which exhibit a natural ordering between the categories. In particular, they can be found in recommender systems, either with explicit data (such as ratings) or implicit data (such as quantized play counts). OrdNMF is a probabilistic latent factor model that generalizes Bernoulli-Poisson factorization (BePoF) and Poisson factorization (PF) applied to binarized data. Contrary to these methods, OrdNMF circumvents binarization and can exploit a more informative representation of the data. We design an efficient variational algorithm based on a suitable model augmentation and related to variational PF. In particular, our algorithm preserves the scalability of PF and can be applied to huge sparse datasets. We report recommendation experiments on explicit and implicit datasets, and show that OrdNMF outperforms BePoF and PF applied to binarized data.

연구 동기 및 목표

• 사용자-아이템 상호작용을 이진화하는 전통적인 협업 필터링 방법에서 발생하는 정보 손실 문제를 해결한다.
• 명시적 평점과 암시적 재생 수와 같이 흔한 순서형 데이터를 위한 생성적 확률 모델을 개발하며, 순서 구조를 기각하지 않는다.
• 포isson 인자분해의 확장성은 유지하면서, 임계값 기반의 잠재 변수 프레임워크를 통해 더 풍부한 비이진 순서형 데이터를 모델링한다.
• 순서형 카테고리의 자연스러운 순서를 활용하여 이들을 순서형 또는 연속형으로 간주하는 것보다 추천 정확도를 향상시킨다.
• 모델 증강 기법을 사용한 변분 알고리즘을 통해 대규모 희소 데이터셋에서도 효율적인 추론을 가능하게 한다.

제안 방법

• 순서형 관측치가 연속적인 잠재 변수를 일련의 임계값으로 양자화함으로써 유도되는 임계값 모델을 제안한다.
• 비음수 행렬 분해(NMF)를 사용하여 잠재 변수를 모델링하며, 잡음은 역감마(IG) 분포에서 추출한다.
• 잠재 요인과 임계값을 추정하기 위한 효율적인 변분 추론 알고리즘을 도출하기 위해 모델 증강 기법을 사용한다.
• 변분 베이즈를 사용하여 사후 근사 분포를 설정하며, 사용자 요인(W), 아이템 요인(H), 임계값(b)에 대해 별도의 갱신을 수행한다.
• 양자화된 카운트를 순서형 입력으로 사용하여 명시적(MovieLens 등) 및 암시적(Taste Profile 등) 데이터셋에 모두 적용한다.
• 모든 관측치의 수가 아닌 비제로 관측치 수에만 의존하도록 알고리즘을 설계하여 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 이진화된 원래 상호작용을 고려하지 않고도 비음수 행렬 분해 모델이 추천 시스템에서 순서형 데이터를 효과적으로 처리할 수 있는가?
• RQ2 임계값 기반의 잠재 변수 구조로 순서형 데이터를 모델링하는 것이 이진화된 방법이나 연속형 회귀 접근법에 비해 예측 성능에서 어떻게 비교되는가?
• RQ3 기존의 BePoF 및 PF와 비교할 때 순서 구조를 유지함으로써 추천 정확도와 사후 예측 적합도가 얼마나 향상되는가?
• RQ4 제안된 변분 추론 알고리즘이 실세계 추천 시스템에서 흔한 대규모 희소 데이터셋에 대해 효율적으로 확장 가능한가?
• RQ5 모델이 임계값을 적응적으로 추론할 수 있는 능력이 기존 모델에 비해 암시적 데이터의 극단적 값(예: 높은 재생 수)을 더 잘 모델링하는 데 기여하는가?

주요 결과

• MovieLens 데이터셋에서 OrdNMF는 이진화된 데이터에 적용된 BePoF 및 PF보다 성능이 뛰어나며, 다양한 NDCG 임계값에서 뚜렷한 우월성을 보인다.
• MovieLens 데이터셋에서 OrdNMF는 s=1에서 s=10까지 다양한 NDCG 임계값에서도 일관된 성능을 유지하지만, BePoF는 극단적 임계값에서 성능이 열등하다.
• Taste Profile 데이터셋에서 OrdNMF는 dcPF보다 더 높은 로그우도를 기록하여 데이터 분포에 더 잘 적합함을 보이며, 특히 고가치 카테고리에서 뚜렷한 우수성을 보인다.
• 사후 예측 검증 결과, OrdNMF는 희귀한 고빈도 값(예: 50회 이상 재생)을 포함한 전반적인 순서형 카테고리 범위를 정확히 모델링하는 반면, dcPF는 이를 포착하지 못한다.
• MovieLens 및 Taste Profile 데이터셋에서 Empirical 히스토GRAM과 모델의 사후 예측 분포가 매우 유사하여, 모델이 데이터 분포의 변화에 대해 강건함을 확인한다.
• 변분 추론 알고리즘은 5회 이내에 안정적으로 수렴하며, ELBO 개선이 안정적으로 이루어지고, 상대적 증분이 τ=10−5 이하로 떨어진다.