[논문 리뷰] Sketching as a Tool for Numerical Linear Algebra

David P. Woodruff|arXiv (Cornell University)|2014. 11. 17.

Matrix Theory and Algorithms참고 문헌 119인용 수 585

한 줄 요약

이 논문은 랜덤 프로젝션을 사용해 큰 행렬을 더 작은 스케치로 압축함으로써 수치적 선형대수 알고리즘을 가속화하는 스케칭 기법의 강력함을 제시한다. 최소 제곱 회귀, 강건한 회귀, 낮은 질량 근사, 그래프 스parse화 문제에서 거의 최적의 성능를 달성하며, 오차와 런타임에 대한 이론적 보장을 제공한다. 많은 문제들에 대해 하위선형 및 다항로그 시간 복잡도를 갖는다.

ABSTRACT

This survey highlights the recent advances in algorithms for numerical linear algebra that have come from the technique of linear sketching, whereby given a matrix, one first compresses it to a much smaller matrix by multiplying it by a (usually) random matrix with certain properties. Much of the expensive computation can then be performed on the smaller matrix, thereby accelerating the solution for the original problem. In this survey we consider least squares as well as robust regression problems, low rank approximation, and graph sparsification. We also discuss a number of variants of these problems. Finally, we discuss the limitations of sketching methods.

연구 동기 및 목표

• 기본적인 수치적 선형대수 문제들, 예를 들어 회귀와 낮은 질량 근사 문제를 크게 가속화하는 스케칭 기반 알고리즘을 개발하고 분석하는 것.
• n ≫ d 인 과잉 제약 조건 하에서 스케칭 방법의 근사 오차와 런타임에 대한 이론적 경계를 제공하는 것.
• 특히 샤텐 노름과 부분공간 임bedding에 대해 통신 및 스트리밍 하한을 통해 스케칭의 한계를 탐구하는 것.
• 강건한 낮은 질량 근사, 분산 계산, 샤텐-1 노름의 스케칭에 대한 열린 문제들을 규명하는 것.
• 최근의 스케칭 기반 수치적 선형대수의 진전을 통합하고 조사하며, 실용적 효율성과 이론적 엄밀성을 강조하는 것.

제안 방법

• 입력 행렬 A ∈ ℝ^{n×d}를 r ≪ n 인 더 작은 행렬 S A ∈ ℝ^{r×d}로 압축하기 위해 랜덤 매트릭스 프로젝션(스케칭)을 사용하여 핵심 구조적 성질을 유지한다.
• 서브스페이스 임베딩을 위해 서브가우시안 또는 꼬리가 무거운 분포를 가진 행렬(예: 가우시안, 코시, 지수분포)을 사용하여 모든 x에 대해 Ax의 ℓ₂ 및 ℓ₁ 노름을 유지한다.
• 최소 제곱 문제에서 정규 방정식에 스케칭을 적용하여 A^T A를 (S A)^T (S A)로 대체함으로써 계산량을 O(nd²)에서 O(rd²)로 감소시킨다.
• 컬럼 선택을 위한 스케칭을 활용해 오차가 보장된 낮은 질량 근사를 구성하기 위해 적응형 샘플링과 CUR 분해를 도입한다.
• 분산 및 스트리밍 환경에서 스케칭을 활용해 통신 및 공간 복잡도를 줄이며, s명의 플레이어에 대해 O(sdk/ε)의 통신 복잡도를 달성한다.
• 매트릭스 스케칭을 사용해 샤텐 노름, 특히 핵노름(p=1)을 근사하고, 일정 요인 근사에 대해 스케칭 차원의 하한을 증명한다.

실험 결과

연구 질문

• RQ1 고정 확률 하에서 하위선형 시간 내에 (1+ε)-근사 해를 구하기 위해 스케칭을 사용할 수 있는가?
• RQ2 행렬의 샤텐-1 노름을 일정 요인 내에서 근사하기 위한 최적의 스케칭 차원은 무엇인가?
• RQ3 정확도와 효율성 보장을 갖는 스케칭을 ℓ₁-손실(L1-Regression)을 갖는 강건한 회귀로 확장할 수 있는가?
• RQ4 낮은 질량 근사 및 회귀 문제에 대해 분산 및 스트리밍 환경에서 스케칭의 통신 및 공간 하한은 무엇인가?
• RQ5 입력 요소 기반 ℓ₁-노름(즉, ∥A - Ã∥₁ ≤ (1+ε)∥A - Aₖ∥₁) 하에서 강건한 낮은 질량 근사에 대한 다항식 시간 알고리즘이 존재하는가?

주요 결과

• 스케칭을 통해 (1+ε)-근사 최소 제곱 회귀를 O(nnz(A) + n·poly(k/ε)) 시간 내에 수행할 수 있으며, 기존의 O(nd²) 방법에 비해 크게 향상된다.
• ℓ₁-회귀의 경우, 코시 또는 지수분포를 갖는 랜덤 변수를 사용한 스케칭은 효율적인 샘플링 기반 해법을 지원하는 서브스페이스 임베딩을 제공한다.
• 낮은 질량 행렬의 프로베니우스 노름을 근사하기 위해 다항로그 스케칭 차원으로도 충분하며, 오차 경계는 기존 최적 결과와 일치한다.
• 논문은 샤텐-1 노름(핵노름)을 일정 요인 내에서 근사하기 위해 Ω(n^{1/2})의 하한을 확립하였으며, 매트릭스 스케칭 제약 조건 하에서 개선된 하한을 도출하였다.
• 분산 낮은 질량 근사에 대해 O(sdk/ε)의 통신 프rotocol를 제안하였으며, 알려진 Ω(sdk) 하한과 로그 인자 외에 일치한다.
• 논문은 효율적인 ℓ₁-낮은 질량 근사 알고리즘 존재성과 분산 스케칭에 대해 Ω(sdk/ε)의 통신 하한을 증명할 문제를 규명하였다.