[논문 리뷰] A Simple Approach to Optimal CUR Decomposition

Haishan Ye, Yujun Li외 1명|arXiv (Cornell University)|2015. 11. 05.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 3

한 줄 요약

이 논문은 BSS나 적응형 샘플링을 필요로 하지 않고 레버리지 스코어 샘플링만을 사용하여 최적의 CUR 분해와 근사적으로 최적의 컬럼 재구성에 대한 새로운 효율적인 접근법을 제시한다. 이는 첫 번째 O(nnz(A)) 최적의 CUR 알고리즘을 달성하며, O(nnz(A)) 또는 Õ(n²) 실행 시간을 갖는 니스트롬 방법으로 확장되어 이전 방법들에 비해 훨씬 효율성을 향상시킨다.

ABSTRACT

Prior optimal CUR decomposition and near optimal column reconstruction methods have been established by combining BSS sampling and adaptive sampling. In this paper, we propose a new approach to the optimal CUR decomposition and near optimal column reconstruction by just using leverage score sampling. In our approach, both the BSS sampling and adaptive sampling are not needed. Moreover, our approach is the first $O(\mathrm{nnz}(\A))$ optimal CUR algorithm where $\A$ is a data matrix in question. We also extend our approach to the Nystr{ö}m method, obtaining a fast algorithm which runs $ ilde{O}(n^{2})$ or $O(\mathrm{ nz}(\A))$

연구 동기 및 목표

• 복잡한 샘플링 전략에 의존하지 않고도 최적의 CUR 분해를 위한 더 단순하고 효율적인 접근법을 개발하는 것.
• CUR 분해에서 BSS 샘플링과 적응형 샘플링의 필요성을 제거하여 알고리즘 파ip라인을 단순화하는 것.
• 최적의 CUR 분해에 대해 O(nnz(A)) 시간 복잡도를 달성하여 이전 방법들보다 향상시키는 것.
• 제안된 방법을 니스트롬 방법으로 확장하여 빠르고 효율적인 낮은 랭크 근사화를 가능하게 하는 것.

제안 방법

• 이 방법은 BSS와 적응형 샘플링의 필요성을 대체하기 위해 오직 레버리지 스코어 샘플링을 사용하여 컬럼과 행을 선택한다.
• 레버리지 스코어를 계산하여 가장 정보가 풍부한 컬럼과 행을 식별함으로써 고품질의 낮은 랭크 근사화를 보장한다.
• 알고리즘은 샘플된 컬럼과 행에서 직접 CUR 분해를 구성하며, 근사 오차의 최적성을 유지한다.
• 커널 행렬에 동일한 레버리지 스코어 샘플링 전략을 적용하여 이 방법을 니스트롬 방법으로 확장한다.
• 이론적 분석을 통해 이 방법이 오직 O(nnz(A)) 연산만으로도 높은 확률로 최적의 근사 오차를 달성함을 보여준다.
• 이 방법은 반복적 또는 적응형 샘플링 단계를 피함으로써 단순하고 효율적인 설계를 갖춘다.

실험 결과

연구 질문

• RQ1 BSS나 적응형 샘플링 없이도 레버리지 스코어 샘플링만으로 최적의 CUR 분해를 달성할 수 있는가?
• RQ2 오직 레버리지 스코어 샘플링에 기반한 CUR 분해 알고리즘의 계산 복잡도는 무엇인가?
• RQ3 레버리지 스코어 기반 접근법은 커널 행렬 근사화를 위한 니스트롬 방법으로 확장될 수 있는가?
• RQ4 제안된 방법은 최소한의 계산 비용으로 최적의 근사 오차를 달성하는가?

주요 결과

• 제안된 방법은 BSS와 적응형 샘플링이 필요 없이 오직 레버리지 스코어 샘플링만으로 최적의 CUR 분해를 달성한다.
• 이 알고리즘은 O(nnz(A)) 시간 내에 실행되어 첫 번째 O(nnz(A)) 최적의 CUR 알고리즘이다.
• 동일한 샘플링 전략을 활용하여 근사적으로 최적의 컬럼 재구성을 제공한다.
• 이 방법은 성공적으로 니스트롬 방법으로 확장되어 O(nnz(A)) 또는 Õ(n²) 실행 시간을 달성한다.