[논문 리뷰] Regularized Singular Value Decomposition and Application to Recommender System

Shuai Zheng, Chris Ding외 1명|arXiv (Cornell University)|2018. 04. 13.

Blind Source Separation Techniques참고 문헌 19인용 수 14

한 줄 요약

이 논문은 낮은 랭크 근사에 Tikhonov 정규화를 추가한 비볼록 행렬 분해 방법인 정규화된 특이값 분해(RSVD)를 제안한다. 이는 폐쇄형 전역 최적해를 가지며, SVD 목적 함수에 정규화를 도입함으로써 성능을 향상시킨다. 네 개인 실세계 추천 시스템 데이터셋에서 평가한 결과, RSVD는 정밀도, 재현도, F1-측정치에서 표준 SVD를 일관되게 능가하며, λ=5에서 최적 성능을 보인다.

ABSTRACT

Singular value decomposition (SVD) is the mathematical basis of principal component analysis (PCA). Together, SVD and PCA are one of the most widely used mathematical formalism/decomposition in machine learning, data mining, pattern recognition, artificial intelligence, computer vision, signal processing, etc. In recent applications, regularization becomes an increasing trend. In this paper, we present a regularized SVD (RSVD), present an efficient computational algorithm, and provide several theoretical analysis. We show that although RSVD is non-convex, it has a closed-form global optimal solution. Finally, we apply RSVD to the application of recommender system and experimental result show that RSVD outperforms SVD significantly.

연구 동기 및 목표

• 노이즈와 과적합이 존재하는 상황에서 낮은 랭크 행렬 근사에 유용한 정규화된 SVD 설정을 개발하는 것.
• 수렴이 보장되는 효율적인 반복 알고리즘을 통해 정규화된 SVD 문제를 해결하는 것.
• 비볼록 RSVD 설정이 유일한 전역 최적해를 가짐을 이론적으로 증명하는 것.
• 실세계 추천 시스템 데이터셋에서 RSVD를 실증적으로 평가하고 표준 SVD와의 성능을 비교하는 것.

제안 방법

• RSVD 목적 함수는 재구성 오차의 프로베니우스 노름과 두 인자 행렬 U 및 V에 대한 Tikhonov 정규화의 합을 최소화한다.
• 교차 최적화 알고리즘을 사용한다: V를 고정하고 U = X V (V^T V + λI)^{-1}을 통해 U를 구하고, U를 고정하고 V = X^T U (U^T U + λI)^{-1}을 통해 V를 구한다.
• 알고리즘은 비볼록 문제임에도 불구하고 목적 함수를 단조 감소시키며 전역 최적해로 수렴함을 보였다.
• 이론적 분석을 통해 최적해가 원래 행렬 X의 SVD 부분공간 내에 존재함을 증명하였다.
• 사용자-아이템 평점 행렬을 모델링하고 낮은 랭크 근사를 통해 누락된 평점을 예측함으로써 추천 시스템에 적용하였다.
• 수렴은 연속된 반복 간의 정규화된 차이, dX_t = ||X_t - X_{t-1}||_Ω / sqrt(N_Ω)를 사용하여 모니터링하였다.

실험 결과

연구 질문

• RQ1 비볼록임에도 불구하고 정규화된 SVD 설정이 폐쇄형 전역 최적해를 가지는가?
• RQ2 제안된 반복 알고리즘이 정규화된 SVD 목적 함수의 전역 최적해로 수렴하는가?
• RQ3 실세계 데이터셋에서 RSVD는 표준 SVD보다 추천 정확도를 향상시키는가?
• RQ4 실제로 RSVD의 정규화 파라미터 λ의 최적 값은 무엇인가?
• RQ5 RSVD의 해는 인자 행렬의 무작위 초기화에 대해 불변한가?

주요 결과

• 비볼록임에도 불구하고 RSVD는 정규화된 SVD 문제에 대해 폐쇄형 전역 최적해를 달성한다.
• 반복 알고리즘은 전역 최적해로 수렴하며, λ>0일 경우 표준 SVD(λ=0)보다 수렴 속도가 빠르다.
• MovieLens 데이터셋에서 RSVD는 λ=5, 랭크 k=9일 때 F1-스코어 0.4542를 기록하여 SVD의 0.4220을 능가한다.
• Jester1에서 RSVD는 λ=5, k=18일 때 F1-스코어 0.8672를 기록하여 SVD의 0.6188를 크게 능가한다.
• 모든 네 데이터셋(MovieLens, RottenTomatoes, Jester1, Jester2)에서 λ=5가 항상 최고의 F1-스코어를 기록하여, 이는 강력하고 효과적인 정규화 설정임을 시사한다.
• 정밀도 및 재현도 곡선은 RSVD가 λ=5 또는 10일 때 모든 테스트 랭크 및 데이터셋에서 SVD를 일관되게 능가함을 보여준다.