[論文レビュー] Low Rank Approximation with Entrywise $\ell_1$-Norm Error

Zhao Song, David P. Woodruff+1 more|arXiv (Cornell University)|Nov 3, 2016

Sparse and Compressive Sensing Techniques参考文献 91被引用数 11

ひとこと要約

本稿では、入力スパarsity時間内に (log d) · poly(k) の近似因子を達成する、最初の証明可能に効率的な ℓ₁-ノルムに基づく低ランク近似の近似アルゴリズムを提示する。入力スパarsity時間内に、タイトな上界と下界を確立し、定数 k に対してほぼ最適な O(1)-近似を得るとともに、指数時間仮説（Exponential Time Hypothesis）のもとで強い近似不能性結果を証明する。

ABSTRACT

We study the $\ell_1$-low rank approximation problem, where for a given $n imes d$ matrix $A$ and approximation factor $α\geq 1$, the goal is to output a rank-$k$ matrix $\widehat{A}$ for which $$\|A-\widehat{A}\|_1 \leq α\cdot \min_{ extrm{rank-}k extrm{ matrices}~A'}\|A-A'\|_1,$$ where for an $n imes d$ matrix $C$, we let $\|C\|_1 = \sum_{i=1}^n \sum_{j=1}^d |C_{i,j}|$. This error measure is known to be more robust than the Frobenius norm in the presence of outliers and is indicated in models where Gaussian assumptions on the noise may not apply. The problem was shown to be NP-hard by Gillis and Vavasis and a number of heuristics have been proposed. It was asked in multiple places if there are any approximation algorithms. We give the first provable approximation algorithms for $\ell_1$-low rank approximation, showing that it is possible to achieve approximation factor $α= (\log d) \cdot \mathrm{poly}(k)$ in $\mathrm{nnz}(A) + (n+d) \mathrm{poly}(k)$ time, where $\mathrm{nnz}(A)$ denotes the number of non-zero entries of $A$. If $k$ is constant, we further improve the approximation ratio to $O(1)$ with a $\mathrm{poly}(nd)$-time algorithm. Under the Exponential Time Hypothesis, we show there is no $\mathrm{poly}(nd)$-time algorithm achieving a $(1+\frac{1}{\log^{1+γ}(nd)})$-approximation, for $γ> 0$ an arbitrarily small constant, even when $k = 1$. We give a number of additional results for $\ell_1$-low rank approximation: nearly tight upper and lower bounds for column subset selection, CUR decompositions, extensions to low rank approximation with respect to $\ell_p$-norms for $1 \leq p < 2$ and earthmover distance, low-communication distributed protocols and low-memory streaming algorithms, algorithms with limited randomness, and bicriteria algorithms. We also give a preliminary empirical evaluation.

研究の動機と目的

• 外れ値に対してロバストであるが、これまで理論的保証が欠けていた ℓ₁-低ランク近似のための近似アルゴリズムを設計するという長年の未解決問題に取り組む。
• 問題の NP 困難性を克服し、性能保証が証明可能な最初の近似アルゴリズムを提供する。
• 列サブセット選択、CUR 分解、および 1 ≤ p < 2 の ℓp-低ランク近似といった関連問題について、ほぼタイトな上界と下界を確立する。
• 分散およびストリーミング環境における問題を分析し、poly(k, log n, log d) の近似保証を持つ効率的なプロトコルを提供する。
• 反例を用いて既存のヒューリスティクスの限界を示し、実際の ℓ₁-近似結果においてロバスト PCA の定式化が任意に悪い結果をもたらす可能性があることを示す。

提案手法

• ℓ₁-ノルム近似のための低歪み埋め込みを構築するために、密度の高いおよびスパースなコーシー変換とルイス重みを組み合わせる。
• 多項式系の検証と p-安定変換を活用し、ℓ₁ 目的関数を多項式最適化問題に還元する。
• フロベニウスノルムの緩和と線形計画法の再定式化を用いて、凸緩和技術により ℓ₁ 目的関数を近似する。
• 確率的サンプリングと部分空間埋め込み技術を用いた、ℓ₁-低ランク近似のための CUR 分解フレームワークを設計する。
• コーシー行列の収縮および拡張の境界を活用し、次元削減の過程で ℓ₁ ノルムが制御された要因内で保持されることを保証する。
• 指数時間仮説（ETH）を用いて、k=1 の場合に、poly(nd)-時間アルゴリズムが (1 + 1/log^{1+γ}(nd))-近似を達成できないことを証明し、強い近似不能性の限界を確立する。

実験結果

リサーチクエスチョン

• RQ1 ℓ₁-低ランク近似のための、性能保証が証明された最初の近似アルゴリズムを設計することは可能か？
• RQ2 一般行列において、近似入力スパarsity時間内に達成可能な最良の近似因子は何か？
• RQ3 k が定数のとき、近似保証と実行時間はどのようにスケーリングするか？
• RQ4 標準的な計算複雑性仮定のもとで、ℓ₁-低ランク近似に強い近似不能性結果は存在するか？
• RQ5 既存のロバスト PCA 定式化は、実際の ℓ₁-低ランク近似において信頼できる結果をもたらすと期待できるか？

主な発見

• 本稿では、入力スパarsity時間内に、すなわち O(nnz(A) + (n+d)poly(k)) 時間で実行される、最初の (log d)·poly(k)-近似アルゴリズムを提示する。
• k が定数の場合、本稿は poly(nd)-時間内で O(1)-近似を達成し、これまではヒューリスティクスに依存していたものよりも顕著に向上している。
• 指数時間仮説のもとでは、k=1 の場合に、poly(nd)-時間アルゴリズムが (1 + 1/log^{1+γ}(nd))-近似を達成できないことが示され、強い近似不能性の境界が得られた。
• 本稿は、ℓ₁-ノルムにおける列サブセット選択および CUR 分解について、ほぼタイトな上界と下界を提供する。
• フレームワークを 1 ≤ p < 2 の ℓp-ノルム低ランク近似およびエアスモーバー距離へ拡張し、類似の近似保証を提供する。
• 実験的評価により、提案手法が近似品質および実行時間の両面で既存のヒューリスティクスを上回ることが示され、特に大規模行列において顕著な優位性を示した。