[논문 리뷰] $\ell_p$ Row Sampling by Lewis Weights

Michael B. Cohen, Richard Peng|arXiv (Cornell University)|2014. 12. 01.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 7

한 줄 요약

이 논문은 루이스 가중치를 사용한 ℓ_p 행 샘플링를 위한 최초의 입력-희소성 시간 알고리즘을 제시하며, ℓ_p 노름에서 행렬-벡터 곱의 효율적인 근사화를 가능하게 한다. ℓ₁에 대해 최적의 샘플 크기 O(d log d)를 달성하고, 다른 ℓ_p 노름에 대해서는 거의 최적의 경계를 확보하며, 런타임은 행렬의 희소성과 행렬 곱셈 지수에 따라 달라진다.

ABSTRACT

We give a simple algorithm to efficiently sample the rows of a matrix while preserving the p-norms of its product with vectors. Given an $n$-by-$d$ matrix $\boldsymbol{\mathit{A}}$, we find with high probability and in input sparsity time an $\boldsymbol{\mathit{A}}'$ consisting of about $d \log{d}$ rescaled rows of $\boldsymbol{\mathit{A}}$ such that $\| \boldsymbol{\mathit{A}} \boldsymbol{\mathit{x}} \|_1$ is close to $\| \boldsymbol{\mathit{A}}' \boldsymbol{\mathit{x}} \|_1$ for all vectors $\boldsymbol{\mathit{x}}$. We also show similar results for all $\ell_p$ that give nearly optimal sample bounds in input sparsity time. Our results are based on sampling by "Lewis weights", which can be viewed as statistical leverage scores of a reweighted matrix. We also give an elementary proof of the guarantees of this sampling process for $\ell_1$.

연구 동기 및 목표

• 루이스 가중치를 사용한 ℓ_p 행 샘플링를 위한 최초의 다항식 시간 및 입력-희소성 시간 알고리즘을 개발하는 것.
• 작은 수의 재스케일링된 행을 사용하여 ℓ_p 노름에서 행렬-벡터 곱의 근사화를 위한 실용적이고 효율적인 방법을 제공하는 것.
• 특히 ℓ₁에 대해 루이스 가중치 기반 샘플링의 이론적 보장을 일반 ℓ_p 노름으로 확장하여 최적의 샘플 복잡도를 달성하는 것.
• 특히 ℓ₁ 및 1 ≤ p ≤ 2 인 ℓ_p에 대해 이전 방법들에 비해 런타임과 샘플 크기를 줄이는 것.
• 반복적으로 통계적 리커지 점수를 계산하는 방식으로 루이스 가중치를 근사화하는 단순한 반복 알고리즘을 제시하는 것.

제안 방법

• 재가중된 행렬의 2-근사 통계적 리커지 점수를 반복적으로 계산하는 알고리즘을 통해 루이스 가중치를 근사하는 것.
• 근사된 루이스 가중치를 입력 행렬 A의 행을 샘플링할 확률로 사용하는 것.
• 모든 x ∈ ℝ^d에 대해 ||Ax||_p ≈_{1+ε} ||A'x||_p 가 되도록 A에서 O(d log d ε⁻²)개의 재스케일링된 행을 샘플링하여 A′를 구성하는 것.
• 샘플링 과정의 농도를 보장하기 위해 행렬 체르노프 유사 유형의 부등식과 라데마처 복잡도를 활용하는 것.
• 루이스 가중치를 통한 확률 밀도 변화 구조를 적용하여 ℓ_p 환경에서 리커지 점수와 유사한 행 가중치를 할당하는 것.
• p > 2 및 p ≈ 4의 경우, 이론적 보장을 유지하기 위해 엘립소이드 알고리즘을 사용하지만, 이는 더 높은 런타임을 초래한다.

실험 결과

연구 질문

• RQ1 입력-희소성 시간 내에서 효율적으로 루이스 가중치를 계산할 수 있을까? 이를 통해 ℓ_p 행 샘플링가 가능해지는가?
• RQ2 특히 ℓ₁에 대해 루이스 가중치를 사용한 ℓ_p 행 샘플링의 최적 샘플 크기는 무엇인가?
• RQ3 근사적으로 최적의 샘플 복잡도를 유지하면서 ℓ_p 행 샘플링의 런타임을 거의 입력-희소성 시간 수준으로 줄일 수 있는가?
• RQ4 탈라그랑드 및 루이스 가중치 기반 샘플링의 이론적 보장을 알고리즘적으로 효과적으로 활용할 수 있는가?
• RQ5 다양한 p 값에 대해 ℓ_p 행 샘플링에서 샘플 크기와 런타임 사이의 상호 교환 관계는 무엇인가?

주요 결과

• 논문은 ℓ₁ 행 샘플링에 대해 O(d log d)의 샘플 크기를 달성하였으며, 이는 이론적 하한선에 로그 인자 수준에서 근접한다.
• ℓ₁의 경우 알고리즘은 O(nnz(A) + d^{ω+θ}) 시간에 수행되며, 여기서 ω는 행렬 곱셈 지수이고 θ > 0은 임의의 상수이다.
• 최초로 최적의 샘플 크기와 함께 ℓ₁ 행 샘플링에 대한 입력-희소성 시간 알고리즘을 제공하며, 이는 이전의 O(d^{3.66}) 런타임 알고리즘보다 향상된 것이다.
• 1 < p < 2의 경우 샘플 수는 O(d log d ε⁻²)이며, 런타임은 거의 입력-희소성 시간 수준을 유지하며 d^{ω+θ} 항이 포함된다.
• p > 2의 경우 샘플 크기는 d^{p/2(1+θ)+C} 수준으로 증가하며, 특히 p ≈ 4 근처에서 엘립소이드 알고리즘 사용으로 인해 런타임이 크게 증가한다.
• 런타임에 추가로 O(nnz(A) log n) 항이 포함되는 방식으로 순수한 입력-희소성 시간을 달성할 수 있는 트레이드오프를 제공한다.