[論文レビュー] Matrix Approximation under Local Low-Rank Assumption

Joonseok Lee, Seungyeon Kim+2 more|arXiv (Cornell University)|Jan 15, 2013

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、部分的に観測された行列を、行列の局所的領域で有効な複数の低ランク行列の重み付き和として表現する、局所的低ランク行列近似モデルを提案する。局所的に推定された低ランク近似にカーネルスムージングを適用することで、特にアンカーポイントが少ない場合やランク成分が低い場合でも、グローバルな低ランク行列近似よりも予測精度が向上する。

ABSTRACT

Matrix approximation is a common tool in machine learning for building accurate prediction models for recommendation systems, text mining, and computer vision. A prevalent assumption in constructing matrix approximations is that the partially observed matrix is of low-rank. We propose a new matrix approximation model where we assume instead that the matrix is only locally of low-rank, leading to a representation of the observed matrix as a weighted sum of low-rank matrices. We analyze the accuracy of the proposed local low-rank modeling. Our experiments show improvements in prediction accuracy in recommendation tasks.

研究の動機と目的

• グローバルな低ランク行列近似が行列全体が低ランクであると仮定するという制限を克服するため、局所的低ランク構造をモデル化すること。
• 異種的または非一様なデータパターンによってグローバルな低ランク仮定が失敗する可能性がある推薦システムにおける予測精度を向上させること。
• 各テストエントリごとに別個の最適化問題を解く必要がなく、Nadaraya-Watsonカーネルスムージングを用いることで、計算効率の良い手法を開発すること。
• 圧縮センシングおよび非パラメトリックカーネルスムージングを、局所的低ランク構造を持つ離散的行列設定に一般化すること。

提案手法

• 本手法は行列が局所的に低ランクであると仮定しており、各エントリがその近傍を中心に中心を置いた低ランク行列でよく近似可能であるとみなす。
• 各アンカーポイント $(a,b)$ に対して、不完全なSVDまたはノルム最小化を用いて局所的低ランク近似 $\hat{\mathcal{T}}(a,b)$ を計算し、距離に応じて重み付けされたカーネル $K_h$ を用いる。
• 距離度合いに基づく行・列インデックス上の距離度量を用いてスムージングカーネル $K_h$ を定義し、特にEpanechnikovカーネルを具体的な例として用いる。
• 任意のインデックス $s$ における最終的な行列推定値 $\hat{\vphantom{\rule{1.0pt}{6.14584pt}}\smash{\hat{\mathcal{T}}}}(s)$ は、$s$ からのカーネル類似度に基づく重み付け平均として、局所的推定値 $\hat{\mathcal{T}}(s_i)$ の加重平均で得られる。
• 局所的近似の並列計算が可能であり、カーネルのサポートが限られている場合にスパarsityの利点を活かせる。
• $L_2$正則化と、行と列の類似度を表すarccos距離に基づく積形式の距離関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 推薦システムにおいて、グローバルな低ランクモデルと比較して、局所的低ランク近似が行列補完精度を向上させられるか？
• RQ2 アンカーポイントの数やランクの増加に伴い、局所的低ランク近似の性能はどのように変化するか？
• RQ3 元の行列がグローバルには低ランクでないが、局所的には低ランクである場合に、提案された局所モデルはグローバルモデルよりも一般化性能が優れているか？
• RQ4 各テストポイントごとに別個の最適化問題を解かずに、局所的推定値にカーネルスムージングを適用することで、正確で効率的な行列予測が可能か？
• RQ5 カーネル帯域幅や距離度量の選択が、局所的近似の精度に与える影響は何か？

主な発見

• MovieLens 10MおよびNetflixデータセットの両方において、Local-LRMAはグローバル-LRMAよりもRMSEが低く、特にランクが5以上の場合に顕著に優れる。
• アンカーポイント数が少ない場合でもLocal-LRMAはグローバル-LRMAを上回る性能を示し、収束が速く、データ効率が高いことが示された。
• すべてのテストランクとアンカーポイント数において、Local-LRMAはグローバル-LRMAおよびDFCベースラインと比較して一貫して低いRMSEを維持した。
• 局所的SVDの並列処理とスパースなカーネルサポートの両方が可能であるため、各テストポイントごとに最適化問題を別個に解く手法よりも計算が効率的である。
• arccos距離とEpanechnikovカーネルを組み合わせた積形式の距離関数の使用により、局所的構造のモデリングが向上し、精度の向上に寄与した。
• 未観測エントリに対しても一般化性能が高く、現実の推薦タスクにおいて頑健であることが示された。