[논문 리뷰] Randomized Clustered Nystrom for Large-Scale Kernel Machines

Farhad Pourkamali‐Anaraki, Stephen Becker|arXiv (Cornell University)|2016. 12. 20.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 무작위 투영을 사용해 임의의 점들을 군집화하고, 최적의 저랭크 근사를 계산하기 위해 새로운 QR 기반 알고리즘을 사용하는 무작위 군집화된 Nyström 방법을 제안한다. 더 많은 임의의 점들을 사용할 경우에도 목표 랭크보다 더 높은 랭크 근사를 계산할 수 있으며, 계산 비용을 크게 줄이고도 거의 SVD 수준의 정확도를 달성한다. 특히 고차원 데이터에서 뛰어난 성능을 보인다.

ABSTRACT

The Nystrom method has been popular for generating the low-rank approximation of kernel matrices that arise in many machine learning problems. The approximation quality of the Nystrom method depends crucially on the number of selected landmark points and the selection procedure. In this paper, we present a novel algorithm to compute the optimal Nystrom low-approximation when the number of landmark points exceed the target rank. Moreover, we introduce a randomized algorithm for generating landmark points that is scalable to large-scale data sets. The proposed method performs K-means clustering on low-dimensional random projections of a data set and, thus, leads to significant savings for high-dimensional data sets. Our theoretical results characterize the tradeoffs between the accuracy and efficiency of our proposed method. Extensive experiments demonstrate the competitive performance as well as the efficiency of our proposed method.

연구 동기 및 목표

• 대규모 커널 머신에서 Nyström 기반 저랭크 근사화의 정확도와 효율성을 향상시키기 위해.
• 기존의 군집화된 Nyström 방법에서 고차원 데이터에서 K-means 군집화의 높은 계산 비용 문제를 해결하기 위해.
• 임의의 점의 수가 목표 랭크 r보다 많을 경우에도 최적의 랭크-r 근사를 가능하게 하는 방법을 개발하기 위해.
• 무작위 투영 기반의 임의의 점 선택을 통해 정확도와 계산 효율성 사이의 조절 가능한 트레이드오프를 제공하기 위해.

제안 방법

• m > r일 때 주어진 임의의 점들로부터 최적의 랭크-r 근사를 계산하기 위해 QR 분해를 사용하는 새로운 알고리즘인 'QR 분해를 통한 Nyström'을 제안한다. 이 알고리즘은 최적의 저랭크 요인을 추출한다.
• 저차원 무작위 투영을 통해 데이터를 군집화하는 방식으로, 메모리와 계산 비용을 줄이는 무작위적 임의의 점 선택 전략을 도입한다.
• 고차원 데이터를 p′ ≈ 10 차원으로 압축하기 위해 무작위 투영(Achlioptas, 2003)을 사용하여 데이터에 두 번의 패assing 처리를 가능하게 한다.
• 압축 인자 γ를 통해 조정할 수 있으며, 이는 투영된 공간의 차원을 제어하여 정확도와 효율성 사이의 균형을 맞춘다.
• 이론적 분석(정리 2)은 무작위 방법이 전체 군집화된 Nyström에 비해 정확도 손실가 장치된 저랭크 근사를 제공함을 보여준다.
• 가우시안 커널 함수를 사용하고, 커널 리지 회귀 및 커널 행렬 근사화 작업에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 임의의 점의 수가 목표 랭크보다 많을 경우, 커널 행렬의 저랭크 근사를 더 정확하고 효율적으로 계산할 수 있는가?
• RQ2 고차원 데이터의 차원을 줄이기 위해 K-means 군집화 이전에 무작위 투영을 효과적으로 사용할 수 있는가?
• RQ3 제안된 무작위 군집화된 Nyström 방법은 계산 비용과 메모리 비용을 크게 줄였음에도 불구하고 높은 근사 정확도를 유지하는가?
• RQ4 정규 분포 샘플링, 컬럼 노름 샘플링, 전체 군집화된 Nyström과 비교할 때, 제안된 방법의 정확도와 런타임 성능은 어떠한가?

주요 결과

• 제안된 'QR 분해를 통한 Nyström' 방법은 표준 Nyström보다 더 뛰어난 근사 정확도를 달성하며, 특히 m > r일 경우 더 적은 수의 임의의 점으로도 동일한 정확도를 확보한다.
• cpusmall 데이터셋(n=8,192, p=48)에서, m=644일 때 근사 오차가 0.074로, 균일 샘플링(m=966)과 동일한 런타임을 기록했지만 오차는 0.187보다 훨씬 낮았다.
• E2006-tfidf 데이터셋(n=5,363, p=150,360)에서, 전체 군집화된 Nyström에 비해 계산 복잡도를 두 계단 정도 감소시켰으며, 거의 동일한 정확도를 유지했다.
• r=82일 때, 단지 m=2r개의 임의의 점만으로도 거의 SVD 수준의 정확도를 달성했으며, 균일 샘플링 및 컬럼 노름 샘플링보다 뛰어난 성능을 보였다.
• p′=10의 무작위 투영 차원을 사용한 방법은 SVD나 고유값 분해로부터 도출된 최상의 랭크-r 근사와 매우 유사한 근사 품질을 달성했다.
• 이론적 분석은 무작위 방법이 높은 확률로 정확도 손실이 최소화된 저랭크 근사를 생성하며, 전체 군집화된 Nyström 방법과 비교해도 거의 손실이 없다는 것을 확인했다.