[論文レビュー] Learning-Based Low-Rank Approximations

Piotr Indyk, Ali Vakilian+1 more|arXiv (Cornell University)|Oct 30, 2019

Sparse and Compressive Sensing Techniques被引用数 19

ひとこと要約

本稿では、従来のランダムスケッチ行列の代わりに、入力行列の分布に合わせて学習されたスパース行列を用いる、学習ベースの低ランク行列近似手法を提案する。この手法は、ランダムスケッチと比較して近似誤差を最大で1桁低減するが、特に安定ランクに依存する近似要因を有する $m=1$ の場合に、ロバストネスおよび一般化バウンドを通じて理論的保証を維持する。

ABSTRACT

We introduce a "learning-based" algorithm for the low-rank decomposition problem: given an $n imes d$ matrix $A$, and a parameter $k$, compute a rank-$k$ matrix $A'$ that minimizes the approximation loss $\|A-A'\|_F$. The algorithm uses a training set of input matrices in order to optimize its performance. Specifically, some of the most efficient approximate algorithms for computing low-rank approximations proceed by computing a projection $SA$, where $S$ is a sparse random $m imes n$ "sketching matrix", and then performing the singular value decomposition of $SA$. We show how to replace the random matrix $S$ with a "learned" matrix of the same sparsity to reduce the error. Our experiments show that, for multiple types of data sets, a learned sketch matrix can substantially reduce the approximation loss compared to a random matrix $S$, sometimes by one order of magnitude. We also study mixed matrices where only some of the rows are trained and the remaining ones are random, and show that matrices still offer improved performance while retaining worst-case guarantees. Finally, to understand the theoretical aspects of our approach, we study the special case of $m=1$. In particular, we give an approximation algorithm for minimizing the empirical loss, with approximation factor depending on the stable rank of matrices in the training set. We also show generalization bounds for the sketch matrix learning problem.

研究の動機と目的

• ストリーミングおよび分散設定における低ランク行列近似の精度を向上させるために、データ分布に適合したスケッチ行列を学習する。
• ランダムスケッチ行列を、トレーニングデータ上でフロベニウスノルム近似誤差を最小化する学習済みのスパース行列に置き換える。
• より優れた実験的性能を達成しつつも、最悪ケースの理論的保証を維持するため、分布固有の学習を通じて実現する。
• 特に $m=1$ の場合に、学習されたスケッチ行列問題に対する一般化バウンドおよび近似保証を提供する。
• 混合行列における学習済みとランダムスケッチの行の間のトレードオフを分析し、性能と理論的ロバストネスの両方を保持する。

提案手法

• トレーニングデータセットに含まれる $ n \times d $ 行列の集合上で、スパーススケッチ行列 $ S $ を学習し、$ A' $ を $ SA $ のランク$ k $ 近似とするとき、経験的フロベニウスノルム損失 $ \|A - A'\|_F $ を最小化する。
• 二段階プロセスを用いる：まず $ SA $ を介して $ A $ をスケッチし、次に $ SA $ に対してSVDを実行して低ランク近似を得る。$ S $ はトレーニングデータ上で勾配ベースまたはヒューリスティックな学習により最適化される。
• 一部の $ S $ の行を学習し、他の行をランダムに選ぶ混合スケッチ戦略を導入することで、最悪ケースの保証を維持しながら精度を向上させる。
• 理論的分析のために、$ m=1 $ の場合を検討し、トレーニング行列の安定ランクに依存する近似要因を持つ近似アルゴリズムを導出する。
• ラデマッハ複雑度および集中不等式を用いて、学習済みスケッチ行列の一般化バウンドを導出し、未観測データ上での性能を保証する。
• 行列分解におけるピタゴラスの定理を用いて、$ [AV]_k V^T $ が $ V $ の列空間内での最良のランク$ k $ 近似であることを証明し、誤差分解の理論的分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習済みスケッチ行列は、ランダムスケッチと比較して、低ランク行列分解における近似誤差を低下させることができるか？
• RQ2 特に $ m=1 $ の場合に、学習済みスケッチ行列に対する理論的近似保証は何か？
• RQ3 部分的に学習済みで部分的にランダムな混合スケッチ行列は、性能と最悪ケースのロバストネスの間でどのようにバランスを取るか？
• RQ4 未観測のデータ分布にわたる学習済みスケッチ行列問題に対して、どのような一般化バウンドを確立できるか？
• RQ5 トレーニング行列の安定ランクは、学習済みスケッチアルゴリズムの近似要因にどのように影響するか？

主な発見

• 学習済みスケッチ行列は、多様なデータタイプにわたり、ランダムスケッチ行列と比較して近似誤差を最大で1桁低減する。
• $ m=1 $ の場合、提案手法はトレーニング行列の安定ランクに依存する近似要因を達成し、ランダムスケッチを上回る。
• 部分的に学習済みで部分的にランダムな混合スケッチ行列は、最悪ケースの理論的保証を維持しながら、完全にランダムなスケッチを上回る。
• ラデマッハ複雑度を用いて一般化バウンドを確立し、トレーニングセットでロバストな解が、高い確率で元のデータ分布に一般化されることを示した。
• 理論的分析により、学習済みスケッチ行列が経験的損失を最小化するとともに、未観測行列に対しても高い信頼性で一般化されることを確認した。
• 実騹結果により、複数のデータセットで一貫した性能向上が確認され、汎用的なランダム射影と比較して、分布固有のスケッチが有効であることが検証された。