[논문 리뷰] Ridge Leverage Scores for Low-Rank Approximation

Michael B. Cohen, Cameron Musco외 1명|arXiv (Cornell University)|2015. 11. 23.

Stochastic Gradient Optimization Techniques참고 문헌 50인용 수 15

한 줄 요약

이 논문은 입력 행렬의 $\alpha$-정규화된 변형에서 계산된 리지 리거런스 스코어(ridge leverage scores)를 도입하여, 중요도 샘플링을 통한 강력하고 통합된 저질서 근사화를 가능하게 한다. 정규화를 활용함으로써, 입력-스패arsity 시간의 반복적 컬럼 샘플링 알고리즘과 스트림 길이에 독립적인 공간 복잡도를 가진 단일 패assing 스트리밍 컬럼 서브셋 선택 알고리즘을 처음으로 달성하여 오랫동안 남아있던 열린 문제를 해결한다.

ABSTRACT

Often used as importance sampling probabilities, leverage have become indispensable in randomized algorithms for linear algebra, optimization, graph theory, and machine learning. A major body of work seeks to adapt these to approximation problems. However, existing low-rank leverage scores can be difficult to compute, often work for just a single application, and are sensitive to matrix perturbations. We show how to avoid these issues by exploiting connections between approximation and regularization. Specifically, we employ ridge leverage scores, which are simply standard leverage computed with respect to an $\ell_2$ regularized input. Importance sampling by these gives the first unified solution to two of the most important sampling problems: $(1+\epsilon)$ error column subset selection and $(1+\epsilon)$ error projection-cost preservation. Moreover, ridge leverage satisfy a key monotonicity property that does not hold for any prior leverage scores. Their resulting robustness leads to two sought-after results in randomized linear algebra. 1) We give the first input-sparsity time approximation algorithm based on iterative column sampling, resolving an open question posed in [LMP13], [CLM+15], and [AM15]. 2) We give the first single-pass streaming column subset selection algorithm whose real-number space complexity has no dependence on stream length.

연구 동기 및 목표

• 기존의 저질서 리거런스 스코어가 계산하기 어려우며, 응용 분야에 특화되어 있고, 변화에 민감하므로 이러한 한계를 해결하기 위해.
• $(1+\epsilon)$ 오차 컬럼 서브셋 선택과 $(1+\epsilon)$ 오차 프로젝션-비용 유지 문제의 두 근본적인 샘플링 문제를 통합하기 위해.
• 기존 리거런스 스코어가 만족하지 못하는 새로운 단조성 성질을 만족하면서도 행렬 변화에 대해 강건한 방법을 개발하기 위해.
• 특히 입력-스패arsity 시간 반복적 컬럼 샘플링과 유한한 공간 복잡도를 가진 단일 패assing 스트리밍 알고리즘을 포함한 랜덤라이즈드 선형 대수학 분야의 열린 문제를 해결하기 위해.
• 저질서 근사화에 있어 표준 리거런스 스코어의 이론적 기반과 계산 효율성을 동시에 만족하는 대안을 제공하기 위해.

제안 방법

• 행렬 $A + \alpha I$에 대한 표준 리거런스 스코어를 계산하여 리지 리거런스 스코어를 정의한다. 이는 $\ell_2$ 정규화를 포함한다.
• 저질서 근사화에서 컬럼 선택을 위한 중요도 샘플링 확률로 리지 리거런스 스코어를 사용한다.
• 정규화와 근사화의 관계를 활용하여, 행렬 변화나 노이즈에 대한 안정성과 단조성을 보장한다.
• 리지 리거런스 스코어를 사용해 컬럼 선택을 이끄는 반복적 컬럼 샘플링 알고리즘을 설계하여 입력-스패arsity 시간 내에 실행 가능하게 한다.
• 스트림 길이에 독립적인 공간 복잡도를 가진 단일 패assing 스트리밍 알고리즘을 설계하여 $(1+\epsilon)$ 오차를 가진 컬럼 서브셋을 유지한다.
• 리지 리거런스 스코어가 단조성 성질을 만족함을 증명하여, 행렬 업데이트나 노이즈에 대해 일관된 행동을 보장한다.

실험 결과

연구 질문

• RQ1 리지 리거런스 스코어는 $(1+\epsilon)$ 오차를 가진 컬럼 서브셋 선택과 프로젝션-비용 유지 문제를 동시에 해결할 수 있는 통합 프레임워크를 제공할 수 있는가?
• RQ2 표준 리거런스 스코어에 비해 정규화가 리거런스 스코어의 행렬 변화에 대한 강건성에 기여하는가?
• RQ3 리지 리거런스 스코어를 통해 입력-스패arsity 시간 알고리즘으로 반복적 컬럼 샘플링을 수행할 수 있는가? 이는 랜덤라이즈드 선형 대수학 분야의 열린 문제를 해결하는가?
• RQ4 리지 리거런스 스코어를 사용하여 스트림 길이에 독립적인 공간 복잡도를 가진 단일 패assing 스트리밍 알고리즘으로 컬럼 서브셋 선택을 설계할 수 있는가?
• RQ5 리지 리거런스 스코어는 이전 리거런스 스코어 정의에서 누락된 단조성 성질을 만족하는가?

주요 결과

• 리지 리거런스 스코어는 이전의 리거런스 스코어 정의에서 성립하지 않는 새로운 단조성 성질을 만족하여, 변화에 대한 안정성을 향상시킨다.
• 제안된 방법은 단일 통합 샘플링 프레임워크를 사용하여 컬럼 서브셋 선택과 프로젝션-비용 유지 문제 양쪽 모두에 대해 $(1+\epsilon)$ 오차를 달성한다.
• 리거런스 스코어 기반의 첫 번째 입력-스패arsity 시간 반복적 컬럼 샘플링 알고리즘이 달성되었으며, 이는 [LMP13], [CLM+15], [AM15]에서 제기된 열린 문제를 해결한다.
• 스트림 길이에 독립적인 실수 공간 복잡도를 가진 단일 패assing 스트리밍 알고리즘이 개발되어 기존 방법에 비해 중대한 개선을 이룬다.
• 리지 리거런스 스코어는 정규화와 중요도 샘플링을 결합함으로써 강건하고 효율적인 저질서 근사화를 가능하게 하여, 증명 가능한 더 나은 이론적 보장을 제공한다.