[논문 리뷰] Improving CUR Matrix Decomposition and the Nyström Approximation via Adaptive Sampling

Shusen Wang, Zhihua Zhang|arXiv (Cornell University)|2013. 03. 18.

Sparse and Compressive Sensing Techniques참고 문헌 49인용 수 149

한 줄 요약

이 논문은 데이터 행렬에 대한 제한적인 가정 없이 개선된 상대 오차 한계를 달성하는 CUR 행렬 분해 및 니스트롬 근사에 대한 적응형 샘플링 알고리즘을 제안한다. 일반적인 오차 한계를 기반으로 한 적응형 열/행 샘플링을 활용하여, 낮은 시간 복잡도와 낮은 메모리 사용량으로 낮은 근사 오차를 보장하며, 이론적·실제로 기존의 표준 및 앙상블 니스트롬 방법을 능가한다.

ABSTRACT

The CUR matrix decomposition and the Nyström approximation are two important low-rank matrix approximation techniques. The Nyström method approximates a symmetric positive semidefinite matrix in terms of a small number of its columns, while CUR approximates an arbitrary data matrix by a small number of its columns and rows. Thus, CUR decomposition can be regarded as an extension of the Nyström approximation. In this paper we establish a more general error bound for the adaptive column/row sampling algorithm, based on which we propose more accurate CUR and Nyström algorithms with expected relative-error bounds. The proposed CUR and Nyström algorithms also have low time complexity and can avoid maintaining the whole data matrix in RAM. In addition, we give theoretical analysis for the lower error bounds of the standard Nyström method and the ensemble Nyström method. The main theoretical results established in this paper are novel, and our analysis makes no special assumption on the data matrices.

연구 동기 및 목표

• 특정 데이터 구조를 가정하지 않는 한계를 가진 표준 CUR 및 니스트롬 방법의 문제점을 해결하고자 하며, 이는 높은 근사 오차와 이론적 보장의 부재를 포함한다.
• 특수한 가정 없이도 임의의 데이터 행렬에 적용 가능한 일반적인 적응형 열/행 샘플링 오차 한계를 개발하고자 한다.
• 기존의 랜덤화 방법보다 정확도를 향상시킬 수 있는 기대 상대 오차 한계를 갖는 새로운 CUR 및 니스트롬 알고리즘을 설계하고자 한다.
• 전체 행렬을 저장하지 않음으로써 낮은 시간 복잡도와 최소한의 램 사용량을 확보하여 대규모 데이터에 적합한 방법을 확보하고자 한다.
• 이 기법들의 성능 한계를 규명하기 위해 표준 및 앙상블 니스트롬 방법에 대한 이론적 하한을 제공하고자 한다.

제안 방법

• 유도 점수와 스펙트럼 성질에 기반한, 행렬 근사에서 열과 행의 적응형 샘플링을 위한 일반적인 오차 한계를 도입한다.
• 이 오차 한계를 활용해, 저질서 구조에 기여도가 높은 열과 행을 더 높은 확률로 선택하는 새로운 적응형 샘플링 전략을 설계한다.
• 선택된 $ c $개의 열과 $ r $개의 행을 적응적으로 선택하여 CUR 분해를 구성하고, 선택된 열과 행의 교차 부분의 의사역행렬을 중간 행렬 $ extbf{W} $로 계산한다.
• 동일한 적응형 샘플링 프레임워크를 대칭 양의 준정부성 행렬을 부분 행렬로 근사하는 니스트롬 방법에 적용한다.
• 독립적인 $ t $개의 샘플을 평균내어 안정성과 분산 감소를 향상시키는 앙상블 니스트롬 방법을 도입한다.
• 프로베니우스 노름과 노름 노름에서의 근사 오차에 대한 이론적 한계를 유도하여, 오차가 $ (1- heta) $ 비례함을 보여주며, 여기서 $ heta $는 샘플링 편향을 제어한다.

실험 결과

연구 질문

• RQ1 특정 데이터 구조를 가정하지 않아도 적응형 샘플링이 CUR 및 니스트롬 근사의 상대 오차 한계를 향상시킬 수 있는가?
• RQ2 표준 및 앙상블 니스트롬 방법의 근사 오차에 대한 이론적 하한은 무엇인가?
• RQ3 균일 샘플링 또는 유도 점수 기반 샘플링과 비교해 적응형 샘플링은 오차와 계산 효율성 측면에서 어떻게 다른가?
• RQ4 제안된 방법은 낮은 시간 복잡도와 최소한의 메모리 프로파일을 유지하면서도 상대 오차 한계를 달성할 수 있는가?
• RQ5 앙상블 평균화는 니스트롬 근사에서 안정성과 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 적응형 샘플링 알고리즘은 입력 행렬에 특별한 가정 없이도 CUR 및 니스트롬 근사에 대해 기대 상대 오차 한계를 달성한다.
• 앙상블 니스트롬 방법의 프로베니우스 노름 오차 한계는 $ (1- heta)^2 \bigg{[}\big{(}m-2c+\frac{c}{t}-k\big{)}+k\bigg{(}\frac{m-c+\frac{c}{t}+k\frac{1-\theta}{\theta}}{c+k\frac{1-\theta}{\theta}}\bigg{)}^{2}\bigg{]} $로 하한이 있으며, 이는 적응형 샘플링에 의해 향상된 수렴을 보여준다.
• 앙상블 니스트롬 방법의 노름 노름 오차 한계는 최소 $ (1-\theta)(m-c)\frac{c+\frac{1}{\theta}k}{c+\frac{1-\theta}{\theta}k} $이며, 강력한 이론적 보장을 보여준다.
• 논문은 앙상블 니스트롬 방법의 상대 오차 비율에 대한 하한을 확립하여, 최악의 경우 $ \frac{m-c}{m-k}\big{(}1+\frac{k}{c}\big{)} $까지 올라갈 수 있음을 보여준다.
• 이론적 분석을 통해 표준 니스트롬 방법이 일반적으로 상대 오차 한계를 달성할 수 없음을 확인하여, 적응형 샘플링의 우수성을 입증한다.
• 이 방법은 전체 행렬을 램에 저장하지 않으며 낮은 시간 복잡도를 유지하여 대규모 및 희소 행렬에 적합하다.