[論文レビュー] Matrix Completion and Low-Rank SVD via Fast Alternating Least Squares

Trevor Hastie, Rahul Mazumder+2 more|arXiv (Cornell University)|Oct 9, 2014

Sparse and Compressive Sensing Techniques参考文献 19被引用数 307

ひとこと要約

この論文は、softImputeと最大マージン行列分解（MMMF）の長所を組み合わせることで、行列補完および低ランクSVDのための高速な交互最小二乗（ALS）アルゴリズムを提案する。各反復で埋められた行列上で1つのリッジ回帰を解くことで収束を加速し、ウォームスタートとスパース行列の利用を可能にし、大規模計算において、softImputeおよび標準ALSを凌駕する速度とスケーラビリティを実現する。

ABSTRACT

The matrix-completion problem has attracted a lot of attention, largely as a result of the celebrated Netflix competition. Two popular approaches for solving the problem are nuclear-norm-regularized matrix approximation (Candes and Tao, 2009, Mazumder, Hastie and Tibshirani, 2010), and maximum-margin matrix factorization (Srebro, Rennie and Jaakkola, 2005). These two procedures are in some cases solving equivalent problems, but with quite different algorithms. In this article we bring the two approaches together, leading to an efficient algorithm for large matrix factorization and completion that outperforms both of these. We develop a software package "softImpute" in R for implementing our approaches, and a distributed version for very large matrices using the "Spark" cluster programming environment.

研究の動機と目的

• 大規模行列補完における計算ボトルネック、特にsoftImputeにおける繰り返しSVDの高コストを解消すること。
• ALSの効率性とsoftImputeの低ランク正則化を組み合わせ、スケーラビリティと収束性を向上させること。
• スパース表現とウォームスタートを活用することで、非常に大きな行列における高速で分散処理可能な行列補完を可能にすること。
• 核ノルム正則化付き行列補完問題と低ランク因子分解問題の両方を効率的に解く統一フレームワークの開発

提案手法

• 欠損値を補完し、埋められた行列上で1つのリッジ回帰問題を解く、新しいアルゴリズムであるsoftImpute-ALSを提案。
• 標準ALSが各行・列ごとに別々の回帰を必要とするのに対し、完全に観測された行列上で1つの共有リッジ回帰を用いることで、全行・全列にわたる一様な処理を実現。
• 前回の反復からのウォームスタートを用いることで、解が最適に近づいた後段階の収束を加速。
• 観測データのスパース行列表現と因子行列の低ランク構造を活用し、ストレージと計算量を削減。
• 数値的安定性を向上させるために、選択的かつ反復的に適用可能なモーメント法によるセンターングとスケーリング手法を導入。
• Sparkを用いた分散実装を実装し、アルゴリズムの効率性とスパース構造を活かして、極めて大きな行列へのスケーリングを実現。

実験結果

リサーチクエスチョン

• RQ1 softImputeとALSを統合したハイブリッドアルゴリズムは、大規模行列補完において、より高速な収束性と優れたスケーラビリティを達成できるか？
• RQ2 埋められた行列上で1回のリッジ回帰を各反復で解く方法は、標準ALSが行う各行・各列ごとの回帰よりも優れているか？
• RQ3 前回の反復からのウォームスタートは、行列補完におけるSVD計算時間の短縮に顕著な効果をもたらすか？
• RQ4 本手法は、大規模かつスパースな行列において、softImputeおよび標準ALSと比較して性能と効率性に優れているか？
• RQ5 選択的センターングとスケーリングの影響は、行列補完アルゴリズムの収束性と精度にどのように及ぶか？

主な発見

• 繰り返し最適でない推定値に対するSVDを回避することで、標準softImputeよりも著しく高速に収束する。
• 埋められた行列上で1回のリッジ回帰を各反復で解くことで、標準ALSが各行・各列ごとに別々の回帰を必要とするのと比較して、計算オーバーヘッドを低減。
• ウォームスタートとスパース行列計算を活用することで、非常に大きな行列に低ランク構造がある場合に高い効率性を達成。
• モーメント法によるセンターングとスケーリング手順は実際には高速に収束し、Rが急速にゼロに近づくことから、データ構造への素早い適応が示唆される。
• Sparkを用いた分散実装により、極めて大きなデータセットにおけるスケーラブルな行列補完が可能となり、アルゴリズムの計算効率を活かした。
• 核ノルム正則化と低ランク因子分解の間のギャップを効果的に埋め、両問題に対して統一的かつ効率的な解決策を提供。