[論文レビュー] Regularized Singular Value Decomposition and Application to Recommender System

Shuai Zheng, Chris Ding+1 more|arXiv (Cornell University)|Apr 13, 2018

Blind Source Separation Techniques参考文献 19被引用数 14

ひとこと要約

本稿では、Tikhonov正則化を特異値分解（SVD）の目的関数に追加することで、低ランク近似を改善する非凸な行列因子分解手法である正則化特異値分解（RSVD）を提案する。閉形式のグローバル解を有する。4つの実世界のレコメンデーションシステムデータセット上で評価した結果、精度、再現率、F1スコアのすべての指標で標準SVDを常に上回り、λ=5で最適な性能を示した。

ABSTRACT

Singular value decomposition (SVD) is the mathematical basis of principal component analysis (PCA). Together, SVD and PCA are one of the most widely used mathematical formalism/decomposition in machine learning, data mining, pattern recognition, artificial intelligence, computer vision, signal processing, etc. In recent applications, regularization becomes an increasing trend. In this paper, we present a regularized SVD (RSVD), present an efficient computational algorithm, and provide several theoretical analysis. We show that although RSVD is non-convex, it has a closed-form global optimal solution. Finally, we apply RSVD to the application of recommender system and experimental result show that RSVD outperforms SVD significantly.

研究の動機と目的

• ノイズや過学習の影響がある状況下でも、低ランク行列近似を改善する正則化SVDの定式化を開発すること。
• 収束が保証された反復的アルゴリズムを効率的に提供し、正則化SVD問題を解くこと。
• 非凸なRSVD定式化が一意のグローバル最適解を有することを理論的に証明すること。
• 実世界のレコメンデーションシステムデータセットに対してRSVDを実験的に評価し、標準SVDと性能を比較すること。

提案手法

• RSVDの目的関数は、再構成誤差のフロベニウスノルムと、因子行列UおよびVへのTikhonov正則化の和を最小化する。
• 交互最適化アルゴリズムを用いる：Vを固定して、U = X V (V^T V + λI)^{-1} によりUを解き、次にUを固定して、V = X^T U (U^T U + λI)^{-1} によりVを解く。
• 非凸性にもかかわらず、目的関数が単調に減少し、グローバル最適解に収束することが示された。
• 理論的分析により、最適解が元の行列XのSVD部分空間内に存在することが証明された。
• ユーザー・アイテム評価行列をモデル化し、低ランク近似を用いて欠損評価を予測することで、レコメンデーションシステムに応用した。
• 収束は、連続する反復間の正規化差分 dX_t = ||X_t - X_{t-1}||_Ω / sqrt(N_Ω) を用いて監視された。

実験結果

リサーチクエスチョン

• RQ1 非凸であるにもかかわらず、正則化SVD定式化は閉形式のグローバル解を有するか？
• RQ2 提案された反復的アルゴリズムは、正則化SVD目的関数のグローバル最適解に収束できるか？
• RQ3 実世界のデータセットにおいて、RSVDは標準SVDよりも推薦精度を向上させるか？
• RQ4 実用的な観点で、RSVDの正則化パラメータλの最適値は何か？
• RQ5 RSVDの解は、因子行列の初期化のランダム性に対して不変か？

主な発見

• RSVDは、目的関数が非凸であるにもかかわらず、正則化SVD問題に対して閉形式のグローバル解を達成する。
• 反復的アルゴリズムはグローバル最適解に収束し、λ>0のときには標準SVD（λ=0）よりも収束が速い。
• MovieLensデータセットでは、λ=5でk=9のときF1スコアが0.4542に達し、SVDの0.4220を上回った。
• Jester1では、λ=5でk=18のときF1スコアが0.8672に達し、SVDの0.6188を大きく上回った。
• 4つのすべてのデータセット（MovieLens, RottenTomatoes, Jester1, Jester2）において、λ=5が一貫して最高のF1スコアを達成しており、これは強固で効果的な正則化設定であることを示している。
• 精度と再現率の曲線から、λ=5または10のRSVDは、すべてのテストランクとデータセットでSVDを一貫して上回ることがわかった。