[論文レビュー] Weighted Low Rank Matrix Approximation and Acceleration

Elena Tuzhilina, Trevor Hastie|arXiv (Cornell University)|Sep 22, 2021

Sparse and Compressive Sensing Techniques参考文献 20被引用数 4

ひとこと要約

本稿では、要素ごとの重みを組み込むことで、標準的な低ランク行列近似と行列補完を一般化する重み付き低ランク行列近似（WLRMA）フレームワークを提案する。2つの高速化技術（ネステロフモーメンタムとアンダーソン加速）を組み込んだプロキシマル勾配法を導入し、合成データおよび実世界のMovieLensデータにおいて、特に低ランク解に対してより速い収束を示した。

ABSTRACT

Low-rank matrix approximation is one of the central concepts in machine learning, with applications in dimension reduction, de-noising, multivariate statistical methodology, and many more. A recent extension to LRMA is called low-rank matrix completion (LRMC). It solves the LRMA problem when some observations are missing and is especially useful for recommender systems. In this paper, we consider an element-wise weighted generalization of LRMA. The resulting weighted low-rank matrix approximation technique therefore covers LRMC as a special case with binary weights. WLRMA has many applications. For example, it is an essential component of GLM optimization algorithms, where an exponential family is used to model the entries of a matrix, and the matrix of natural parameters admits a low-rank structure. We propose an algorithm for solving the weighted problem, as well as two acceleration techniques. Further, we develop a non-SVD modification of the proposed algorithm that is able to handle extremely high-dimensional data. We compare the performance of all the methods on a small simulation example as well as a real-data application.

研究の動機と目的

• 観測の非一様な信頼性や精度を反映するために、要素ごとの重みを導入することで、標準的な低ランク行列近似（LRMA）と低ランク行列補完（LRMC）を一般化すること。
• 欠損データや観測の信頼性にばらつきがある状況においても効率的なWLRMA問題の解法を開発すること。
• 特に高次元またはスパースな行列において、ベースラインの交互最小二乗法（ALS）の収束をネステロフモーメンタムおよびアンダーソン加速を用いて高速化すること。
• フルSVDを回避し、非常に高次元なデータに対応可能な非SVD型、スリム行列の再定式化により、スケーラブルな計算を可能にすること。

提案手法

• 観測の信頼性や精度を符号化する重み行列を用いて、残差の重み付きフロベニウスノルムの最小化に加え、核ノルムのペナルティを課す凸緩和問題としてWLRMAを定式化する。
• WLRMA問題を解くためのプロキシマル勾配降下法を開発し、低ランク因子行列 $A$ と $B$ を、ソフトスレッディングを施した交互最小二乗法で更新する。
• 直前の反復からのモーメンタムを組み込むことでネステロフ加速を導入し、ALSフレームワーク内での収束速度を向上させる。
• WLRMA問題を固定点反復に再定式化し、Krylov部分空間法を用いて収束を加速するアンダーソン加速を適用する。
• フルSVDを回避する非SVDバージョンを実装し、スリムな因子行列（$A imes k$, $B imes k$）のみを保持し、これらの小さな行列に対して逐次SVDを実行することでランクを計算する。これにより計算コストを削減する。
• 各ステップで目的関数が十分に減少することを保証するため、ガード付きアンダーソン加速を導入し、安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 要素ごとの重みを組み込むことで、標準的な低ランク近似と行列補完を統合するフレームワークを構築できるか？
• RQ2 高次元またはスパースな状況における反復的WLRMAソルバの収束速度をどのように向上できるか？
• RQ3 ネステロフ加速またはアンダーソン加速は、WLRMAにおいて標準的な交互最小二乗法よりも収束速度と安定性の面で優れているか？
• RQ4 フルSVDの計算を避ける非SVD型、スリム行列の定式化を用いて、非常に高次元なデータへのWLRMAのスケーリングは可能か？

主な発見

• 提案されたWLRMAフレームワークは、欠損データに対して二値の重みを用いることで、標準的なLRMAとLRMCを特別なケースとして包含する。
• MovieLensデータセットにおいて、$ ho=5$ および $ ho=20$ のランク解に対して、深さ $m=3$ のアンダーソン加速が、ベースラインALSおよびネステロフ加速よりも速い収束を達成した。
• $ ho=70$（高ランク）の場合、ネステロフ加速が $ ho=10^{-4}$ の精度でわずかにアンダーソン加速を上回ったが、両加速手法ともベースラインALSに比べて著しく速い収束を示した。
• 非SVD型、スリム行列の再定式化により、フルSVDを用いないで行列ランクと低ランク近似を効率的に計算可能となり、1反復あたりの計算コストが削減された。
• ガード付きアンダーソン加速により、目的関数が単調に減少することが保証され、実用的な安定性と信頼性が向上した。
• MovieLensデータセット（$6000 imes 4000$、観測率5%）において、すべての加速手法が5分未満で $ ho=10^{-4}$ の精度に到達した。特に低ランク解ではアンダーソン加速が最良のパフォーマンスを示した。