[논문 리뷰] Input Sparsity and Hardness for Robust Subspace Approximation

Kenneth L. Clarkson, David P. Woodruff|arXiv (Cornell University)|2015. 10. 20.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 20

한 줄 요약

이 논문은 $p \in [1,2)$에 대해 입력 스파arsity 알고리즘을 제안하며, $(1+\varepsilon)$-근사값을 $O(\operatorname{nnz}(A) + (n+d)\cdot{\mathrm{poly}}(k/\varepsilon) + \exp({\mathrm{poly}}(k/\varepsilon)))$ 시간에 달성한다. $(1+1/{\mathrm{poly}}(d))$-근사값에 대한 NP-난이도를 증명하여 열린 문제를 해결하였고, $M$-추정자 회귀에 대해 처음으로 $O(\operatorname{nnz}(A) + {\mathrm{poly}}(d/\varepsilon))$-시간 알고리즘을 제시한다.

ABSTRACT

In the subspace approximation problem, we seek a k-dimensional subspace F of R^d that minimizes the sum of p-th powers of Euclidean distances to a given set of n points a_1, ..., a_n in R^d, for p >= 1. More generally than minimizing sum_i dist(a_i,F)^p,we may wish to minimize sum_i M(dist(a_i,F)) for some loss function M(), for example, M-Estimators, which include the Huber and Tukey loss functions. Such subspaces provide alternatives to the singular value decomposition (SVD), which is the p=2 case, finding such an F that minimizes the sum of squares of distances. For p in [1,2), and for typical M-Estimators, the minimizing $F$ gives a solution that is more robust to outliers than that provided by the SVD. We give several algorithmic and hardness results for these robust subspace approximation problems. We think of the n points as forming an n x d matrix A, and letting nnz(A) denote the number of non-zero entries of A. Our results hold for p in [1,2). We use poly(n) to denote n^{O(1)} as n -> infty. We obtain: (1) For minimizing sum_i dist(a_i,F)^p, we give an algorithm running in O(nnz(A) + (n+d)poly(k/eps) + exp(poly(k/eps))), (2) we show that the problem of minimizing sum_i dist(a_i, F)^p is NP-hard, even to output a (1+1/poly(d))-approximation, answering a question of Kannan and Vempala, and complementing prior results which held for p >2, (3) For loss functions for a wide class of M-Estimators, we give a problem-size reduction: for a parameter K=(log n)^{O(log k)}, our reduction takes O(nnz(A) log n + (n+d) poly(K/eps)) time to reduce the problem to a constrained version involving matrices whose dimensions are poly(K eps^{-1} log n). We also give bicriteria solutions, (4) Our techniques lead to the first O(nnz(A) + poly(d/eps)) time algorithms for (1+eps)-approximate regression for a wide class of convex M-Estimators.

연구 동기 및 목표

• 입력 스파arsity 알고리즘 개발: $p \in [1,2)$에 대해 $\sum_i \mathrm{dist}(a_i, F)^p$ 또는 일반적인 $M$-추정자 최소화
• 강건한 부분공간 근사의 계산 난이도 증명: $1+1/{\mathrm{poly}}(d)$ 요인 내에서 근사 가능한지 여부, $p \in [1,2)$에 대해서도
• 문제 크기 축소 기법을 사용해 대규모 강건한 부분공간 문제를 더 작은, 제약 조건이 있는 인스턴스로 축소
• 넓은 범위의 볼록 $M$-추정자에 대해 $(1+\varepsilon)$-근사 회귀를 위한 첫 번째 입력 스파arsity 알고리즘 설계

제안 방법

• 입력 스파arsity 기법을 활용해 비제로 요소 수 $\operatorname{nnz}(A)$에 선형적인 실행 시간 확보하고, 코어셋 구성을 통한 차원 축소를 병행
• 유도도 수치 샘플링과 가중 노름 추정을 통한 재귀 프레임워크를 적용해 문제 크기를 줄이면서 근사 보장을 유지
• $O(\log n)$회의 재귀 레벨 이후, 축소된 크기가 $n^{\beta}{\mathrm{poly}}(d/\varepsilon)$인 경우 $\beta < 1/(2C)$이면 타원체 방법을 적용해 다항시간 내에 해를 구할 수 있음
• $M$-추정자를 다루기 위해 크기가 ${\mathrm{poly}}(K\varepsilon^{-1}\log n)$인 행렬을 포함하는 제약 조건 문제로의 새로운 환원 기법 적용, 여기서 $K = (\log n)^{O(\log k)}$
• 근사 품질과 차원 수 사이의 트레이드오프를 허용하는 이중 기준 솔루션 프레임워크 도입
• 클리크 문제에서의 난이도 환원을 통해 $(1+1/{\mathrm{poly}}(d))$-근사값에 대한 NP-난이도를 증명함. 이는 $p \in [1,2)$에 대해서도 성립함

실험 결과

연구 질문

• RQ1 입력 스파arsity 시간 내에서 $p \in [1,2)$에 대해 $(1+\varepsilon)$-근사 강건 부분공간 근사를 달성할 수 있는가?
• RQ2 강건한 부분공간 근사 문제에서 $p \in [1,2)$에 대해 $(1+1/{\mathrm{poly}}(d))$ 요인 내에서 근사 가능한가?
• RQ3 근사 품질을 유지하면서 대규모 강건한 부분공간 문제를 더 작은, 구조화된 인스턴스로 축소할 수 있는가?
• RQ4 넓은 범위의 볼록 $M$-추정자에 대해 $(1+\varepsilon)$-근사 회귀의 최적 실행 시간은 무엇인가?
• RQ5 입력 스파arsity 기법을 $p=2$ (SVD)를 초월해 강건한 $M$-추정자 회귀로 확장할 수 있는가?

주요 결과

• 입력 스파arsity 시간 $O(\operatorname{nnz}(A) + (n+d)\cdot{\mathrm{poly}}(k/\varepsilon) + \exp({\mathrm{poly}}(k/\varepsilon)))$ 내에서 $(1+\varepsilon)$-근사 $k$차원 부분공간을 계산하는 알고리즘 제시. 이는 $p \in [1,2)$에 대해 $\sum_i \mathrm{dist}(a_i, F)^p$ 최소화에 대해 성립함.
• 입력 스파arsity 시간 내에서 $p \in [1,2)$에 대해 $\sum_i \mathrm{dist}(a_i, F)^p$를 $1+1/{\mathrm{poly}}(d)$ 요인 내에서 근사 가능한 것은 NP-난이도임을 증명함. 이는 칸난과 렘발라가 제기한 열린 문제를 해결함.
• 넓은 범위의 $M$-추정자에 대해, 문제는 $O(\operatorname{nnz}(A)\log n + (n+d)\cdot{\mathrm{poly}}(K/\varepsilon))$ 시간 내에 크기가 ${\mathrm{poly}}(K\varepsilon^{-1}\log n)$인 제약 조건 인스턴스로 환원 가능함. 여기서 $K = (\log n)^{O(\log k)}$
• 넓은 범위의 볼록 $M$-추정자에 대해 $(1+\varepsilon)$-근사 회귀에 대해 처음으로 $O(\operatorname{nnz}(A) + {\mathrm{poly}}(d/\varepsilon))$-시간 알고리즘 제시. 이는 이전 연구에서 일반 $M$-추정자에 대해 뿐만 아니라 $O(1)$-근사값만 확보한 것에 비해 향상됨.
• 난이도 결과는 $k$와 $1/\varepsilon$에 다항식 시간 내에 실행되는 알고리즘이 $(1+1/{\mathrm{poly}}(d))$-근사값을 달성할 수 없음을 의미하며, $P = NP$가 아닐 경우 이는 불가능함. 이와 이전 연구를 종합하면, 모든 $p \neq 2$에 대해 NP-난이도임을 입증함.
• 클리크 문제에서 강건한 부분공간 근사로의 환원을 통해, $k$-클리크가 존재하는지 여부에 따라 비용 격차가 $\Omega((1/B_1)^{p/2}/r^2)$ 요인으로 발생함을 보여주며, 이는 $1+1/{\mathrm{poly}}(d)$ 근사 내에서 탐지 가능함.