[論文レビュー] Algorithms for $\ell_p$ Low Rank Approximation

Flavio Chierichetti, Sreenivas Gollapudi+4 more|arXiv (Cornell University)|May 18, 2017

Sparse and Compressive Sensing Techniques参考文献 14被引用数 5

ひとこと要約

本稿では、すべての $p \geq 1$ に対して、$\beta_p$ 低ランク近似の証明可能に良い近似アルゴリズムを初めて提示する。この手法は、列サンプリングと凸最適化を組み合わせており、$O(k)$-近似を多項式時間で達成し、$O(k\log m)$ 列を用いる。$k = O(\log n / \log \log n)$ の場合、正確な $k$-ランク近似が $\text{poly}(k)$ 要因の保証で得られ、実験的・実データにおいても SVD を上回る性能を示す。

ABSTRACT

We consider the problem of approximating a given matrix by a low-rank matrix so as to minimize the entrywise $\ell_p$-approximation error, for any $p \geq 1$; the case $p = 2$ is the classical SVD problem. We obtain the first provably good approximation algorithms for this version of low-rank approximation that work for every value of $p \geq 1$, including $p = \infty$. Our algorithms are simple, easy to implement, work well in practice, and illustrate interesting tradeoffs between the approximation quality, the running time, and the rank of the approximating matrix.

研究の動機と目的

• 特に $p=1$ および $p=\infty$ の場合に、既存のヒューリスティクスが性能の上限を持たないため、$\ell_p$ 低ランク近似に対する理論的保証の欠如に対処すること。
• 一般行列およびすべての $p \geq 1$ に対して、$\ell_p$ 低ランク近似問題に対する証明可能な近似要因を提供する効率的アルゴリズムを開発すること。
• 近似の質、実行時間、出力のランクのバランスを図り、特に理論的保証を維持しつつ使用する列数を最小限に抑えること。
• 実データおよび合成データにおいて、提案されたアルゴリズムが古典的な SVD よりも $\ell_p$ 誤差の面で優れていることを実証的に示すこと、特に $p=1$ および $p=\infty$ の場合。

提案手法

• 最初のアルゴリズムは存在的証明に基づく：入力行列から $k$ 列を選出し、それらを凸計画法と組み合わせることで、最良のランク-$k$ $\ell_p$ 近似の $(k+1)$-近似が得られる。
• 2番目のアルゴリズムは、適応的列サンプリングを用いる：残りの行列から列を繰り返しサンプリングし、入力をカバーする。$O(\text{poly}(n,m))$ 時間で $O(k)$-近似を達成するが、$O(k\log m)$ 列を出力する。
• 3番目のアルゴリズムは、最初の2つの手法を組み合わせる：2番目のアルゴリズムの出力を精錬し、$\text{poly}(n,m)(k\log n)^k$-時間の手続きを用いて正確に $k$ 列を生成し、$\text{poly}(k)$-近似要因を達成する。
• 定数 $p$ の場合、精錬されたサンプリングと射影戦略を用いることで、任意の $k$ に対して $\text{poly}(k)$-近似要因を達成し、$\text{poly}(n,m)$ の実行時間で実現可能である。
• アルゴリズムはシンプルで実用的であるように設計されており、スペクトル的または直交的アプローチに依存せず、エントリごとの $\ell_p$ 誤差の最小化に焦点を当てる。
• 実験的評価では、アルゴリズム2のヒューリスティック版を用いる：$k$ 列を一様にランダムに繰り返しサンプリングし、各々に対して $\ell_p$-射影を実行し、最も良い解を選択する。

実験結果

リサーチクエスチョン

• RQ1 すべての $p \geq 1$（特に $p=1$ および $p=\infty$）に対して、$\ell_p$ 低ランク近似の証明可能に良い近似アルゴリズムを設計できるか？ かつて理論的保証が存在しなかった分野である。
• RQ2 出力ランクが $k$ よりわずかに大きい場合でも、$\ell_p$ 低ランク近似に対して多項式時間アルゴリズムで有界な近似要因を達成することは可能か？
• RQ3 列数が $k$ より多いバイクリテリア近似を精錬し、正確な $k$-ランク近似を、小さな多項式近似要因で得ることは可能か？
• RQ4 提案されたアルゴリズムの性能は、実世界および合成データセットにおける $\ell_p$ 誤差の面で SVD よりも優れているか？

主な発見

• 提案されたアルゴリズムは、適応的列サンプリングと凸最適化を用い、多項式時間で $O(k)$-近似を達成し、$O(k\log m)$ 列を用いる。
• $k = O(\log n / \log \log n)$ の場合、$O(\text{poly}(n,m)(k\log n)^k)$ 時間で正確に $k$ 列を用い、$\text{poly}(k)$-近似要因を達成する。
• 任意の定数 $p \geq 1$ に対して、$\text{poly}(k)$-近似要因を $\text{poly}(n,m)$ 実行時間で達成でき、$k$ に依存しない。
• FIDAP 行列では、アルゴリズム2が $k$ が小さい場合に $\ell_1$-誤差を SVD より約 40% 減少させた。KOS ブログ行列では、$\ell_\infty$-誤差が約 10% 向上した。
• ランダムな $\pm 1$ 行列では、すべての $k$ に対してアルゴリズム2が SVD より $\ell_\infty$-誤差で 30–50% 優れており、符号ランクの下界により $\ell_\infty$ 誤差が 1 で有界であるため、アルゴリズムはその制約を満たしている。
• 本稿では下界を確立した：列サブセット選択問題に対しては $k^{\Omega(1)}$ の近似要因が必要であり、これより良い要因を得るには非列ベースの手法が必要である可能性を示唆している。