[논문 리뷰] Algorithms for $\ell_p$ Low Rank Approximation

Flavio Chierichetti, Sreenivas Gollapudi외 4명|arXiv (Cornell University)|2017. 05. 18.

Sparse and Compressive Sensing Techniques참고 문헌 14인용 수 5

한 줄 요약

이 논문은 모든 $p \geq 1$에 대해 $β_p$ 저질서 근사에 대해 처음으로 증명 가능하게 좋은 근사 알고리즘을 제안한다. 이는 $p=1$과 $p=\infty$를 포함한다. 방법은 열 샘플링과 볼록 최적화를 조합하여 다항 시간 내에 $O(k)$-근사값을 달성하며, $O(k\log m)$개의 열을 사용한다. 또한 $k = O(\log n / \log \log n)$일 때, $\text{poly}(k)$-요구사항을 충족하는 정확한 $k$-질서 근사값을 제공한다. 실제 및 시뮬레이션 데이터에서 SVD보다 실용적으로 뛰어난 성능을 보인다.

ABSTRACT

We consider the problem of approximating a given matrix by a low-rank matrix so as to minimize the entrywise $\ell_p$-approximation error, for any $p \geq 1$; the case $p = 2$ is the classical SVD problem. We obtain the first provably good approximation algorithms for this version of low-rank approximation that work for every value of $p \geq 1$, including $p = \infty$. Our algorithms are simple, easy to implement, work well in practice, and illustrate interesting tradeoffs between the approximation quality, the running time, and the rank of the approximating matrix.

연구 동기 및 목표

• 모든 $p \geq 1$에 대해 $\ell_p$ 저질서 근사에 대한 이론적 보장을 제공하고자 하며, 특히 $p=1$과 $p=\infty$에서 기존 히وري스틱 기법이 성능 한계를 제공하지 못하는 문제를 해결하고자 한다.
• 일반적인 행렬과 모든 $p \geq 1$에 적용 가능한 $\ell_p$ 저질서 근사 문제에 대해 증명 가능한 근사 요건을 제공하는 효율적인 알고리즘을 개발하고자 한다.
• 근사 품질, 실행 시간, 출력 질서 사이의 균형을 이루고자 하며, 특히 강력한 이론적 보장을 유지하면서도 사용된 열의 수를 최소화하고자 한다.
• 실제 및 시뮬레이션 데이터에서 제안된 알고리즘이 $\ell_p$ 오차 측면에서 고전적인 SVD를 초월하는 것으로 경험적으로 입증하고자 한다. 특히 $p=1$과 $p=\infty$에서 성능 향상을 보여주고자 한다.

제안 방법

• 첫 번째 알고리즘은 존재성 증명을 기반으로 하며, 입력 행렬에서 $k$개의 열을 선택하고, 이를 볼록 프로그래밍과 조합함으로써 최적의 $k$-질서 $\ell_p$ 근사에 대해 $(k+1)$-근사값을 달성한다.
• 두 번째 알고리즘은 적응형 열 샘플링을 사용한다: 남아 있는 행렬에서 반복적으로 열을 샘플링하여 입력을 커버하며, $O(\text{poly}(n,m))$ 시간 내에 $O(k)$-근사값을 달성하지만, $O(k\log m)$개의 열을 반환한다.
• 세 번째 알고리즘은 첫 번째와 두 번째 알고리즘을 조합한다: 두 번째 알고리즘의 출력을 개선하여 $\text{poly}(n,m)(k\log n)^k$-시간 절차를 사용해 정확히 $k$개의 열을 생성하며, $\text{poly}(k)$-근사 요건을 달성한다.
• 상수 $p$에 대해, 논문은 $\text{poly}(k)$-근사 요건을 달성하며, $\text{poly}(n,m)$ 실행 시간을 확보한다. 이는 임의의 $k$에 대해 성립하며, 정교한 샘플링 및 투영 전략을 사용한다.
• 알고리즘은 단순하고 실용적인 설계를 하며, 스펙트럼 또는 직교 방법에 의존하지 않고, 항목 기반 $\ell_p$ 오차 최소화에 중점을 둔다.
• 경험적 평가는 알고리즘 2의 히وري스틱 변형을 사용한다: $k$개의 열을 반복적으로 균일하게 랜덤으로 샘플링하고, 각각에 대해 $\ell_p$-투영을 실행하며, 가장 좋은 해를 선택한다.

실험 결과

연구 질문

• RQ1 모든 $p \geq 1$에 대해, 특히 $p=1$과 $p=\infty$에서 이전에 이론적 보장이 없었던 $\ell_p$ 저질서 근사에 대해 증명 가능하게 좋은 근사 알고리즘을 설계할 수 있는가?
• RQ2 출력 질서가 $k$보다 略로 큰 경우에도 다항 시간 알고리즘으로 $\ell_p$ 저질서 근사에 대해 유한한 근사 요건을 확보할 수 있는가?
• RQ3 보다 많은 열을 포함하는 이중 기준 근사값을 개선하여, 작은 다항 근사 요건을 가진 정확한 $k$-질서 근사값을 생성할 수 있는가?
• RQ4 제안된 알고리즘의 성능은 실제 및 시뮬레이션 데이터 세트에서 $\ell_p$ 오차 측면에서 SVD와 비교해 어떻게 되는가?

주요 결과

• 제안된 알고리즘은 적응형 열 샘플링과 볼록 최적화를 사용하여 다항 시간 내에 $O(k)$-근사값을 달성하며, $O(k\log m)$개의 열을 사용하여 최적의 $k$-질서 $\ell_p$ 근사에 근접한다.
• 특히 $k = O(\log n / \log \log n)$일 경우, $O(\text{poly}(n,m)(k\log n)^k)$ 시간 내에 정확히 $k$개의 열을 사용하여 $\text{poly}(k)$-근사 요건을 달성한다.
• 모든 상수 $p \geq 1$에 대해, $\text{poly}(k)$-근사 요건을 달성하며, $\text{poly}(n,m)$ 실행 시간을 확보한다. 이는 $k$의 크기와 무관하게 성립한다.
• FIDAP 행렬에서 알고리즘 2는 작은 $k$에 대해 SVD 대비 $\ell_1$-오차를 약 40% 감소시켰으며, KOS 블로그 행렬에서는 $\ell_\infty$-오차를 약 10% 향상시켰다.
• 랜덤 $\pm 1$ 행렬에서, 알고리즘 2는 모든 $k$에 대해 SVD 대비 $\ell_\infty$-오차를 30–50% 향상시켰으며, 기호 질서 하한에 의해 $\ell_\infty$ 오차가 1 이하로 제한되는데, 이는 알고리즘이 이 하한을 준수함을 보여준다.
• 논문은 하한을 설정한다: 열 서브셋 선택 문제에 대해 $k^{\Omega(1)}$의 근사 요건이 필수적임을 입증하며, 이는 더 나은 요건을 확보하기 위해 비-열 기반 방법이 필요할 수 있음을 시사한다.