[논문 리뷰] Low Rank Approximation with Entrywise $\ell_1$-Norm Error

Zhao Song, David P. Woodruff외 1명|arXiv (Cornell University)|2016. 11. 03.

Sparse and Compressive Sensing Techniques참고 문헌 91인용 수 11

한 줄 요약

이 논문은 입력 스파arsity 시간 내에서 (log d) · poly(k)의 근사율을 달성하는, entrywise ℓ₁-norm 하에서의 저질서 근사에 대해 처음으로 증명 가능하게 효율적인 근사 알고리즘을 제안한다. 이는 날카운드 상한과 하한을 설정하며, 상수 k에 대해 거의 최적의 O(1)-근사율을 달성하고, 지수 시간 가설 하에서 강력한 근사 불가능성 결과를 증명한다.

ABSTRACT

We study the $\ell_1$-low rank approximation problem, where for a given $n imes d$ matrix $A$ and approximation factor $α\geq 1$, the goal is to output a rank-$k$ matrix $\widehat{A}$ for which $$\|A-\widehat{A}\|_1 \leq α\cdot \min_{ extrm{rank-}k extrm{ matrices}~A'}\|A-A'\|_1,$$ where for an $n imes d$ matrix $C$, we let $\|C\|_1 = \sum_{i=1}^n \sum_{j=1}^d |C_{i,j}|$. This error measure is known to be more robust than the Frobenius norm in the presence of outliers and is indicated in models where Gaussian assumptions on the noise may not apply. The problem was shown to be NP-hard by Gillis and Vavasis and a number of heuristics have been proposed. It was asked in multiple places if there are any approximation algorithms. We give the first provable approximation algorithms for $\ell_1$-low rank approximation, showing that it is possible to achieve approximation factor $α= (\log d) \cdot \mathrm{poly}(k)$ in $\mathrm{nnz}(A) + (n+d) \mathrm{poly}(k)$ time, where $\mathrm{nnz}(A)$ denotes the number of non-zero entries of $A$. If $k$ is constant, we further improve the approximation ratio to $O(1)$ with a $\mathrm{poly}(nd)$-time algorithm. Under the Exponential Time Hypothesis, we show there is no $\mathrm{poly}(nd)$-time algorithm achieving a $(1+\frac{1}{\log^{1+γ}(nd)})$-approximation, for $γ> 0$ an arbitrarily small constant, even when $k = 1$. We give a number of additional results for $\ell_1$-low rank approximation: nearly tight upper and lower bounds for column subset selection, CUR decompositions, extensions to low rank approximation with respect to $\ell_p$-norms for $1 \leq p < 2$ and earthmover distance, low-communication distributed protocols and low-memory streaming algorithms, algorithms with limited randomness, and bicriteria algorithms. We also give a preliminary empirical evaluation.

연구 동기 및 목표

• 외곽선에 민감하지 않은 것으로 알려진 ℓ₁-저질서 근사에 대한 근사 알고리즘을 설계하는 오랫동안 열려 있던 문제를 해결한다. 이는 이전에 이론적 보장이 없었음.
• 문제의 NP-난이도를 극복하기 위해 성능 보장이 있는 첫 번째 근사 알고리즘을 제공한다.
• 1 ≤ p < 2에 대해 ℓp-저질서 근사, 컬럼 서브셋 선택, CUR 분해와 같은 관련 문제에 대해 거의 타당한 상한과 하한을 설정한다.
• 분산 및 스트리밍 환경에서 문제를 분석하여, poly(k, log n, log d) 근사 보장을 갖는 효율적인 프rotocol을 제공한다.
• 반례를 통해 기존 히우리스틱의 한계를 입증하고, 실용적으로는 강력한 PCA 공식화가 ℓ₁-근사 결과를 매우 열 劣하게 만들 수 있음을 보여준다.

제안 방법

• ℓ₁-노름 근사에 대한 저편차 임bedding을 구성하기 위해 조밀하고 희소한 코시 변환과 루이스 가중치를 사용한다.
• 다항식 시스템 검증과 p-안정 변환을 활용하여 ℓ₁ 목표를 다항식 최적화 문제로 감소시킨다.
• 프로베니우스 노름 완화와 선형 프rogramming 재구성 기법을 적용하여, 볼록 완화 기법을 통해 ℓ₁ 목표를 근사한다.
• 무작위 샘플링과 부분공간 임bedding 기법을 활용한, ℓ₁-저질서 근사에 대한 CUR 분해 프레임워크를 설계한다.
• 코시 행렬에 대한 수축 및 확장 경계를 활용하여, 차원 감소 과정에서 ℓ₁ 노름이 제어된 요소 내에서 유지됨을 보장한다.
• 지수 시간 가설(ETH)을 활용하여, k=1일 때 poly(nd)-시간 알고리즘이 (1 + 1/log^{1+γ}(nd))-근사율을 달성할 수 없음을 증명함으로써, 강력한 근사 불가능성 한계를 설정한다.

실험 결과

연구 질문

• RQ1 증명 가능한 보장을 갖는 ℓ₁-저질서 근사에 대한 첫 번째 근사 알고리즘을 설계할 수 있는가?
• RQ2 일般 행렬에 대해 근사 입력 스파arsity 시간 내에서 달성 가능한 최고의 근사율은 무엇인가?
• RQ3 k가 상수일 때 근사 보장과 런타임은 어떻게 스케일링되는가?
• RQ4 기본 복잡도 가정 하에 ℓ₁-저질서 근사에 대해 강력한 근사 불가능성 결과가 존재하는가?
• RQ5 기존의 강력한 PCA 공식화는 실질적으로 좋은 ℓ₁-저질서 근사 결과를 도출할 수 있는가?

주요 결과

• 논문은 입력 스파arsity 시간, 즉 O(nnz(A) + (n+d)poly(k)) 시간 내에서 (log d)·poly(k)-근사율을 달성하는 첫 번째 알고리즘을 제시한다.
• k가 상수일 경우, 논문은 poly(nd)-시간 내에 O(1)-근사율을 달성하며, 이는 이전 히우리스틱보다 크게 향상된 결과이다.
• 지수 시간 가설 하에, k=1일 때 poly(nd)-시간 알고리즘은 (1 + 1/log^{1+γ}(nd))-근사율을 달성할 수 없으며, 이는 강력한 근사 불가능성 경계를 보여준다.
• 논문은 ℓ₁-노름 하에서 컬럼 서브셋 선택과 CUR 분해에 대해 거의 타당한 상한과 하한을 제공한다.
• 1 ≤ p < 2에 대해 ℓp-노름 저질서 근사와 지구이동 거리(Earthmover's distance)로 프레임워크를 확장하여 유사한 근사 보장을 제공한다.
• 실험적 평가에서 제안된 알고리즘이 기존 히우리스틱보다 근사 품질과 런타임 면에서 뛰어나며, 특히 큰 행렬에서 뚜렷한 성능 향상을 보였다.