[논문 리뷰] Fast Matrix Factorization with Non-Uniform Weights on Missing Data

Xiangnan He, Jinhui Tang외 4명|arXiv (Cornell University)|2018. 11. 11.

Recommender Systems and Techniques참고 문헌 50인용 수 8

한 줄 요약

이 논문은 관측되지 않은 데이터 항목에 대해 비균일 가중치를 지원하는 빠르고 효율적인 행렬 분해 방법을 제안한다. 이는 균일 가중치 대비 더 높은 모델 정밀도를 가능하게 한다. 관측된 항목 수에 비례하는 선형 시간 복잡도를 달성하기 위해, 가중치 압축을 위한 절삭된 특이값 분해(SVD)와 메모이제이션된 원소별 교대 최소 제곱(eALS)을 조합함으로써, 학습 속도를 크게 향상시키면서도 임의의 가중치 체계를 지원한다.

ABSTRACT

Matrix factorization (MF) has been widely used to discover the low-rank structure and to predict the missing entries of data matrix. In many real-world learning systems, the data matrix can be very high-dimensional but sparse. This poses an imbalanced learning problem, since the scale of missing entries is usually much larger than that of observed entries, but they cannot be ignored due to the valuable negative signal. For efficiency concern, existing work typically applies a uniform weight on missing entries to allow a fast learning algorithm. However, this simplification will decrease modeling fidelity, resulting in suboptimal performance for downstream applications. In this work, we weight the missing data non-uniformly, and more generically, we allow any weighting strategy on the missing data. To address the efficiency challenge, we propose a fast learning method, for which the time complexity is determined by the number of observed entries in the data matrix, rather than the matrix size. The key idea is two-fold: 1) we apply truncated SVD on the weight matrix to get a more compact representation of the weights, and 2) we learn MF parameters with element-wise alternating least squares (eALS) and memorize the key intermediate variables to avoid repeating computations that are unnecessary. We conduct extensive experiments on two recommendation benchmarks, demonstrating the correctness, efficiency, and effectiveness of our fast eALS method.

연구 동기 및 목표

• 행렬 분해에서 관측되지 않은 데이터에 대해 균일 가중치를 사용할 경우 모델 정밀도가 저하됨에도 불구하고 효율성 향상에 기여하는 한계를 해결하기 위해.
• 실제 세계의 부정적 신호 패턴(예: 추천 시의 인기 편향)을 더 잘 반영하기 위해 관측되지 않은 항목에 대해 민감도 높은 비균일 가중치를 제공하기 위해.
• 비균일 가중치의 복잡성 증가에도 불구하고 낮은 시간 복잡도를 유지하는 효율적인 학습 알고리즘을 개발하기 위해.
• 계산 효율성을 희생시키지 않고도 관측되지 않은 데이터에 대해 임의의 가중치 체계를 지원하기 위해.
• 비균일 가중치 적용이 추천 시스템의 성능을 향상시키면서도 학습 확장성이 유지됨을 입증하기 위해.

제안 방법

• 각 항목별 가중치를 고려한 행렬 분해 최적화를 위해 원소별 교대 최소 제곱(eALS)을 제안함으로써, 관측되지 않은 데이터 기여도에 대한 세밀한 제어를 가능하게 한다.
• 비균일 가중치를 압축하고 효율적으로 표현하기 위해 가중치 행렬에 대해 절삭된 특이값 분해(SVD)를 적용한다. 이는 저장소 사용량과 계산 오버헤드를 감소시킨다.
• eALS에서 중간 변수를 메모이제이션하여 중복 계산을 방지함으로써, 시간 복잡도가 전체 행렬 크기와는 무관하고 관측된 항목 수에만 의존하도록 보장한다.
• 최적화 비용이 관측 데이터에 선형적으로 증가하는 빠른 학습 파이프라인을 설계하여, 고차원적이고 희박한 행렬에 적합하다.
• 행렬 기반, 열 기반, 사용자별, 또는 인기 기반 등 임의의 가중치 전략을 포함한 관측되지 않은 항목에 대해 지원한다.
• 가중치 압축과 메모이제이션 기법을 통합함으로써, 복잡한 비균일 가중치를 모두 모델링하더라도 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 희박한 추천 시스템에서 관측되지 않은 데이터에 대해 비균일 가중치를 적용하면 행렬 분해 성능이 향상되는가?
• RQ2 행렬 분해에서 관측되지 않은 데이터에 비균일 가중치를 적용할 경우에도 계산 효율성을 유지할 수 있는가?
• RQ3 가중치 압축과 메모이제이션을 통합한 제안된 eALS 방법은 표준 WALS 및 음성 샘플링 기반 베이스라인 대비 속도와 정확도에서 어떻게 비교되는가?
• RQ4 수백만 개의 관측되지 않은 항목을 포함한 고차원적이고 희박한 행렬에 대해 이 방법이 효과적으로 확장 가능한가?
• RQ5 이 방법은 성능 저하 없이 복잡한 응용 기반 가중치 체계(예: 인기 기반)를 지원할 수 있는가?

주요 결과

• 제안된 빠른 eALS 방법은 관측된 항목 수에 비례하는 시간 복잡도를 확보하여, 매우 크고 희박한 행렬에서도 매우 효율적임을 입증했다.
• 두 개의 공개 벤치마크 데이터셋에서 비균일 가중치 적용이 균일 가중치 대비 추천 작업에서 성능 향상을 이끌어냄을 실험적으로 확인했다.
• 이 방법은 계산 속도를 희생시키지 않고도 사용자 및 아이템 기반 가중치 체계를 포함한 임의의 가중치 체계를 성공적으로 지원한다.
• 가중치 행렬에 대해 절삭된 SVD를 적용함으로써 메모리 사용량을 감소시키고 계산 속도를 향상시켜 대규모 데이터에서 확장 가능한 학습을 가능하게 했다.
• 실험 결과, 예측 정확도와 수렴 안정성 측면에서 균일 가중치 WALS 및 음성 샘플링 기반 베이스라인 모두를 능가하는 것으로 나타났다.
• 이 방법은 이전 연구의 일반화된 형태로, [28]에서 제시된 접근 방식의 특수 케이스를 정확히 복원할 수 있다.