[논문 리뷰] Collaborative Filtering via High-Dimensional Regression

Harald Steck|arXiv (Cornell University)|2019. 04. 30.

Recommender Systems and Techniques참고 문헌 27인용 수 12

한 줄 요약

이 논문은 고차원 리지 회귀를 기반으로 한 계산적으로 효율적인 협업 필터링 방법을 제안한다. 이는 최적화가 비용이 많이 드는 Slim의 대체가 되며, L1 정규화와 비음성 제약 조건을 제거하고 인기 편향을 보정하기 위해 재스케일링을 사용한다. 이로 인해 훈련 속도가 크게 향상되고, 세 가지 데이터셋에서 최신 기준의 순위 정확도를 달성하며, 개인화 추천에서 심층 오토에인코더조차도 능가한다.

ABSTRACT

While the SLIM approach obtained high ranking-accuracy in many experiments in the literature, it is also known for its high computational cost of learning its parameters from data. For this reason, we focus in this paper on variants of high-dimensional regression problems that have closed-form solutions. Moreover, we motivate a re-scaling rather than a re-weighting approach for dealing with biases regarding item-popularities in the data. We also discuss properties of the sparse solution, and outline a computationally efficient approximation. In experiments on three publicly available data sets, we observed not only extremely reduced training times, but also significantly improved ranking accuracy compared to SLIM. Surprisingly, various state-of-the-art models, including deep non-linear autoencoders, were also outperformed on two of the three data sets in our experiments, in particular for recommendations with highly personalized relevance.

연구 동기 및 목표

• 강력한 정확도를 자랑하지만 높은 훈련 비용으로 알려진 Slim 협업 필터링 모델의 계산적으로 효율적인 대안을 개발하는 것.
• Slim에서 L1 정규화와 비음성 제약 조건을 제거하면 닫힌 형태의 해를 얻을 수 있고, 이로 인해 순위 정확도가 향상되는지 조사하는 것.
• 재가중치화가 아닌 재스케일링을 사용하여 항목 인기 편향을 다루는 것이 협업 필터링에서 더 효과적인지 탐색하는 것.
• 희소성의 진정한 역할을 분석하는 것 — 정확도 향상인지 주로 계산 비용 절감을 위한 것인지.
• 학습된 가중치 행렬을 이론적으로 타당한 항목-항목 유사도 행렬로 해석하기 위해 데이터 행렬의 역행렬을 기반으로 한 개념적 올바른 해석을 수립하는 것.

제안 방법

• 모델은 Frobenius 노름 정규화를 사용한 리지 회귀를 통해 닫힌 형태의 해 $\hat{B} = (X^T X + \lambda I)^{-1} X^T Y$ 를 통해 항목-항목 가중치 행렬 $\hat{B}$ 를 계산한다.
• Slim의 L1 정규화와 비음성 제약 조건을 제거하고 L2 정규화를 도입하여 닫힌 형태의 계산과 더 빠른 훈련을 가능하게 한다.
• 인기 편향 문제는 오차를 재가중하는 대신 타겟 값 $Y$ 를 재스케일링하여 해결하며, 이는 모델의 해석 가능성과 성능 유지를 유지한다.
• 블록 단위의 임계값 설정과 $\hat{B}$ 에 대한 희소성 제약 조건을 도입하여 효율적인 추론을 가능하게 하면서도 정확도를 유지한다.
• 학습된 $\hat{B}$ 는 이론적으로 올바른 형태의 유사도 행렬로 간주되며, 이는 항목-항목 공존 행렬 $X^T X$ 의 역행렬이다.
• 이중 상호작용 데이터의 무작위 분할에 대한 기대값을 사용하여 $X^T X$ 와 $X^T Y$ 를 효율적으로 추정하는 근사 훈련 방법을 제안한다.

실험 결과

연구 질문

• RQ1 닫힌 형태의 리지 회귀 모델은 훈련 시간을 크게 줄이면서도 Slim보다 순위 정확도에서 뛰어난 성능을 낼 수 있는가?
• RQ2 Slim에서 L1 정규화와 비음성 제약 조건을 제거하면 모델 복잡도가 증가하더라도 성능 향상이 이루어지는가?
• RQ3 협업 필터링에서 항목 인기 편향을 다루기 위해 타겟 값 재스케일링이 오차 재가중보다 더 효과적인가?
• RQ4 희소성의 진정한 역할은 무엇인가? 정확도 향상인지 주로 계산 비용 절감을 위한 것인가?
• RQ5 선형 협업 필터링에서 항목-항목 공존 행렬 $X^T X$ 의 역행렬이 이론적으로 올바른 항목-항목 유사도 행렬 형태인가?

주요 결과

• 제안된 방법은 실험에서 수렴 문제 없이 Slim보다 훨씬 빠른 훈련 시간을 기록했다.
• MovieLens 및 Book-Crossing 두 데이터셋에서, CDAE와 Mult-VAE를 포함한 모든 경쟁 심층 학습 모델보다 뛰어난 순위 정확도를 달성했다.
• MovieLens 데이터셋에서 평균 역순위(MRR)는 0.425를 기록했으며, 이는 Slim의 성능을 뛰어넘고 CDAE(MRR 0.283)와 Mult-VAE(MRR 0.364)를 모두 능가했다.
• 매우 희소한 해(희소성 수준 0.0007)에서도 높은 정확도를 유지했으며, Book-Crossing에서 MRR는 0.371을 기록해 wmf(MRR 0.312)와 cdae(MRR 0.283)를 모두 능가했다.
• 닫힌 형태의 해 $\hat{B} = (X^T X + \lambda I)^{-1} X^T Y$ 는 계산적으로 효율적이며 이론적으로도 타당한 것으로 입증되었으며, $X^T X$ 의 역행렬이 올바른 유사도 행렬을 제공함을 보였다.
• 희소 모델링이 주로 계산 비용 절감을 위한 것이며, 정확도 향상보다는 과도하게 인기 있는 항목으로 인한 신뢰도 저하를 완화하는 데 기여하는 것으로 밝혀졌다.