[논문 리뷰] Efficient volume sampling for row/column subset selection

Amit Deshpande, Luis Rademacher|arXiv (Cornell University)|2010. 04. 23.

Sparse and Compressive Sensing Techniques참고 문헌 14인용 수 10

한 줄 요약

이 논문은 행렬에서 원소를 선택할 확률이 형성된 단체의 제곱 부피에 비례하는 방식으로 k개의 행을 선택하는 부피 샘플링에 대해 효율적인 알고리즘을 제시한다. 이를 통해 프로베니우스 노름 기준으로 근사 최적의 낮은 질량 행렬 근사가 가능해진다. 이 알고리즘은 O(kmn^ω log n) 시간 내에 최적의 질량-k 근사에 대해 √(k+1)-근사치를 달성하며, 기존 알려진 하한값과 일치하고 이전 방법보다 향상된다.

ABSTRACT

We give efficient algorithms for volume sampling, i.e., for picking $k$-subsets of the rows of any given matrix with probabilities proportional to the squared volumes of the simplices defined by them and the origin (or the squared volumes of the parallelepipeds defined by these subsets of rows). This solves an open problem from the monograph on spectral algorithms by Kannan and Vempala. Our first algorithm for volume sampling $k$-subsets of rows from an $m$-by-$n$ matrix runs in $O(kmn^ω \log n)$ arithmetic operations and a second variant of it for $(1+ε)$-approximate volume sampling runs in $O(mn \log m \cdot k^{2}/ε^{2} + m \log^ω m \cdot k^{2ω+1}/ε^{2ω} \cdot \log(k ε^{-1} \log m))$ arithmetic operations, which is almost linear in the size of the input (i.e., the number of entries) for small $k$. Our efficient volume sampling algorithms imply several interesting results for low-rank matrix approximation.

연구 동기 및 목표

• 원점과 함께 형성된 단체의 제곱 부피에 비례하는 방식으로 k개의 행을 선택하는 부피 샘플링에 대한 효율적인 알고리즘을 개발하는 것.
• 낮은 질량 행렬 근사에서 부피 샘플링을 효율적으로 계산하는 문제에 대해 스펙트럴 알고리즘 분야에서 열려 있는 문제를 해결하는 것.
• 프로베니우스 노름과 스펙트럴 노름 양쪽 모두에서 낮은 질량 행렬 근사에서 행/열 하위집합 선택에 대해 거의 최적의 근사 보장을 달성하는 것.
• 랜덤화된 경우와 동일한 복잡도를 가지는 결정론적 알고리즘을 조건부 기대값의 방법을 통해 제공하는 것.
• 스펙트럴 노름 근사에서 단일 행만을 사용할 경우의 근사 품질에 대한 엄밀한 하한값을 설정하는 것.

제안 방법

• 논문은 하위행렬의 특성다항식을 활용하여 O(kmn^ω log n)의 산술 연산으로 부피 샘플링을 계산하는 랜덤화 알고리즘을 제안한다.
• 동일한 시간 복잡도를 갖는 결정론적 알고리즘을 얻기 위해 조건부 기대값의 방법을 응용한 변형 기법을 사용한다.
• 작은 k에 대해 입력 크기와 거의 선형적인 시간 내에서 (1+ε)-근사 부피 샘플링을 제공하는 두 번째 알고리즘을 제시하며, 고급 행렬 농도 및 샘플링 기법을 활용한다.
• 선택된 행들로 형성된 평행육면체의 제곱 부피에 해당하는 그람 행렬 A_S A_S^T의 행렬식을 계산하는 데 기반한다.
• A_S A_S^T의 특성다항식과 A_S^T A_S 간의 관계를 활용하여 계산 비용을 감소시킨다.
• 투영 후 잔차 행렬의 특이값을 분석하여 스펙트럴 노름 근사에 이를 확장한다.

실험 결과

연구 질문

• RQ1 큰 행렬에 대해 부피 샘플링이 효율적으로 계산될 수 있는가? 이는 낮은 질량 근사에서 이론적으로 유망한 성능을 보이기 때문이다.
• RQ2 부피 샘플링을 통해 행 하위집합 선택을 이용해 달성할 수 있는 최고의 근사 인자가 무엇이며, 알고리즘적으로 이를 달성할 수 있는가?
• RQ3 근사 인자가 (1+ε)이면서 입력 크기와 거의 선형적인 시간 내에 수행되는 부피 샘플링을 위한 근사 알고리즘이 존재하는가?
• RQ4 스펙트럴 노름 근사에서 행 하위집합 선택의 본질적 한계는 무엇이며, k와 n에 따라 어떻게 변화하는가?
• RQ5 부피 샘플링은 제곱 길이 또는 SVD 기반 샘플링과 비교해 근사 품질과 계산 효율성 측면에서 어떻게 다른가?

주요 결과

• 논문은 O(kmn^ω log n)의 산술 연산으로 실행되는 정확한 부피 샘플링을 위한 랜덤화 알고리즘을 제시하며, 실용적 사용에 적합하다.
• 프로베니우스 노름 기준으로 최적의 질량-k 근사에 대해 √(k+1)-근사치를 달성하며, 이는 기존 알려진 하한값과 일치하고 이전의 O(k√log k)-근사치를 향상시킨다.
• 조건부 기대값의 방법을 통해 얻은 결정론적 버전은 동일한 근사치와 실행 시간을 확보하여 재현 가능성을 보장한다.
• 스펙트럴 노름 근사에서는 동일한 행 하위집합이 √((k+1)(n−k))-근사치를 제공하며, k=1인 경우에도 Ω(√n)의 하한값이 증명된다.
• 단일 행만을 사용한 스펙트럴 노름 근사에 대해 Ω(√n)의 엄밀한 하한값을 설정하여, 최악의 경우 어떤 단일 행도 이보다 더 나은 근사 인자를 달성할 수 없음을 보였다.