[논문 리뷰] Revisiting the Nystrom Method for Improved Large-Scale Machine Learning

Alex Gittens, Michael W. Mahoney|arXiv (Cornell University)|2013. 03. 07.

Sparse and Compressive Sensing Techniques참고 문헌 66인용 수 57

한 줄 요약

이 논문은 커널 행렬과 라플라시안 행렬에서 흔히 사용되는 대칭 양측정 행렬(SPSD)에 대한 저질서 근사에 대해 Nystrom 방법을 재검토하며, 샘플링과 투영 방법을 경험적으로 비교하고 개선된 최악의 경우 이론적 경계를 도출한다. 이는 이월-스코어 기반 샘플링과 무작위 투영이 상호보완적인 성능을 보이며, 특히 스펙트럴, 프로베니우스, 추적 노름 오차에서 이전 작업보다 정량적으로 뛰어난 이론적 보장을 제공함을 보여준다.

ABSTRACT

We reconsider randomized algorithms for the low-rank approximation of symmetric positive semi-definite (SPSD) matrices such as Laplacian and kernel matrices that arise in data analysis and machine learning applications. Our main results consist of an empirical evaluation of the performance quality and running time of sampling and projection methods on a diverse suite of SPSD matrices. Our results highlight complementary aspects of sampling versus projection methods; they characterize the effects of common data preprocessing steps on the performance of these algorithms; and they point to important differences between uniform sampling and nonuniform sampling methods based on leverage scores. In addition, our empirical results illustrate that existing theory is so weak that it does not provide even a qualitative guide to practice. Thus, we complement our empirical results with a suite of worst-case theoretical bounds for both random sampling and random projection methods. These bounds are qualitatively superior to existing bounds---e.g. improved additive-error bounds for spectral and Frobenius norm error and relative-error bounds for trace norm error---and they point to future directions to make these algorithms useful in even larger-scale machine learning applications.

연구 동기 및 목표

• 실제 머신러닝 및 데이터 분석 환경에서 SPSD 행렬에 대한 저질서 근사에 대해 무작위 샘플링 및 투영 방법의 성능과 실행 시간을 경험적으로 평가하는 것.
• 스펙트럴, 프로베니우스, 추적 노름에서 재구성 오차 측면에서 데이터에 독립적인 무작위 투영과 데이터에 의존적인 이월-스코어 기반 샘플링의 상호보완적 강점을 규명하고 설명하는 것.
• 기존 이론적 경계의 한계를 해결하기 위해 샘플링 및 투영 방법 양쪽에 적용 가능한 정량적으로 뛰어난 새로운 최악의 경우 오차 경계를 유도하는 것.
• 입력 행렬의 구조적 특성—특히 이월 스코어와 스펙트럴 감쇠—이 근사 품질에 어떻게 영향을 미치며 알고리즘 선택에 어떻게 기여하는지 명확히 하는 것.
• 고품질의 샘플링 및 투영 알고리즘은 빠른 이월 스코어 추정 및 빠른 투영 기법을 활용하면 실행 시간이 유사해질 수 있음을 보여주는 것.

제안 방법

• 머신러닝 및 데이터 분석 응용 분야에서 유래한 다양한 밀도 및 희소 SPSD 행렬에 대해 샘플링 및 투영 방법을 경험적으로 평가한다.
• 이월 스코어 기반 무작위 샘플링과 균일 샘플링, 그리고 구조화된 무작위 행렬을 통한 무작위 투영을 사용한다.
• 통계적 이월 스코어를 근사하고 빠른 무작위 투영을 구현하기 위해 빠른 알고리즘을 적용하여 계산 병목 현상을 줄인다.
• 모든 스케칭 행렬이 SPSD 행렬에 적용될 경우에 대해 결정론적 구조적 경계를 유도하며, 이월 스코어와 부분공간 구조의 역할을 부각한다.
• 샘플링 및 투영 방법에 대해 고확률 최악의 경우 오차 경계를 확립하여 기존의 덧셈 오차 및 상대 오차 경계를 초월한다.
• 알고리즘의 무작위성과 행렬의 구조적 특성 간의 분리를 도입하는 이론적 프레임워크를 제안하여 특정 입력에 대해 근사 품질을 인증할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 실제 세계의 SPSD 행렬에 대해 스펙트럴, 프로베니우스, 추적 노름에서 데이터에 의존적인 이월-스코어 기반 샘플링과 데이터에 독립적인 무작위 투영의 재구성 오차는 어떻게 비교되는가?
• RQ2 실행 시간과 근사 품질 측면에서 균일 샘플링, 이월-스코어 기반 샘플링, 무작위 투영 간의 계산적 트레이드오프는 무엇인가?
• RQ3 왜 경험적 결과가 기존 최악의 경우 이론적 경계의 예측을 종종 초월하는가? 이러한 격차를 설명하는 구조적 행렬 특성은 무엇인가?
• RQ4 이월 스코어와 스펙트럴 감쇠와 같은 결정론적 구조적 특성은 확률적 경계에 의존하지 않고도 고품질 저질서 근사를 인증하는 데 사용될 수 있는가?
• RQ5 SPSD 행렬의 상위-k 고유공간을 근사할 때 이월-스코어 기반 샘플링이 무작위 투영을 능가하는 조건과 그 반대의 조건은 무엇인가?

주요 결과

• 이월-스코어 기반 샘플링과 무작위 투영 방법은 상호보완적인 성능을 보인다: 샘플링은 더 적은 샘플 수로 상위-k 고유공간을 더 잘 포착하지만, 투영은 다양한 행렬 구조에서 뛰어난 강건성을 보인다.
• 빠른 이월 스코어 근사 및 구조화된 무작위 투영 기법을 활용하면 고품질 샘플링 및 투영 알고리즘이 유사한 실행 시간을 달성할 수 있다.
• 두 방법에 대한 이론적 경계는 스펙트럴 및 프로베니우스 노름에서 개선된 덧셈 오차 제어와 추적 노름에서 상대 오차 경계를 제공하며, 이는 이전 결과보다 정량적으로 뛰어나다.
• 오직 O(k) 측정값만으로도 모든 노름에서 최적의 랭크-k 근사의 약 3배 이내의 근사 오차를 달성할 수 있다.
• 저질서 방법으로 잘 근사되지 않는 행렬(예: 높은 일관성)은 균일 샘플링이 가장 심각하게 실패하는 경우이기도 하며, 이는 행렬의 구조적 특성이 중요한 역할을 함을 시사한다.
• 이론적 분석은 특히 이월 스코어와 같은 구조적 비균일성이 근사 품질을 결정하며, 이를 바탕으로 더 나은 결정론적 또는 귀납적 샘플링 히우리스틱을 설계할 수 있음을 드러낸다.