[논문 리뷰] Topics in matrix sampling algorithms

Petros Drineas, Christos Boutsidis|arXiv (Cornell University)|2011. 01. 01.

Sparse and Compressive Sensing Techniques참고 문헌 135인용 수 12

한 줄 요약

이 논문은 기계학습의 세 핵심 문제를 위한 새로운 행렬 샘플링 알고리즘을 제안한다: 저질서 열 기반 행렬 근사, 최소 제곱 회귀에서의 코어셋 구성, k-means 군집화에서의 특징 선택. 작은 열, 행 또는 특징의 부분집합을 선택함으로써 제안된 방법들은 전체 데이터 해법과 비교할 때 유사한 근사 품질을 달성하며, 이는 향상된 이론적 보장을 제공하고 k-means 군집화에 대한 새로운 응용을 가능하게 한다.

ABSTRACT

We study three fundamental problems of Linear Algebra, lying in the heart of various Machine Learning applications, namely: (i) Low-rank Column-based Matrix Approximation, (ii) Coreset Construction in Least-Squares Regression, and (iii) Feature Selection in k-means Clustering. A high level description of these problems is as follows: given a matrix A and an integer r, what are the r most “important” columns (or rows) in A? A more detailed description is given momentarily. 1. Low-rank Column-based Matrix Approximation. We are given a matrix A and a target rank k. The goal is to select a subset of columns of A and, by using only these columns, compute a rank k approximation to A that is as good as the rank k approximation that would have been obtained by using all the columns. 2. Coreset Construction in Least-Squares Regression. We are given a matrix A and a vector b. Consider the (over-constrained) least-squares problem of minimizing ||Ax − b||2, over all vectors x ∈ D . The domain D represents the constraints on the solution and can be arbitrary. The goal is to select a subset of the rows of A and b and, by using only these rows, find a solution vector that is as good as the solution vector that would have been obtained by using all the rows. 3. Feature Selection in K-means Clustering. We are given a set of points described with respect to a large number of features. The goal is to select a subset of the features and, by using only this subset, obtain a k-partition of the points that is as good as the partition that would have been obtained by using all the features. We present novel algorithms for all three problems mentioned above. Our results can be viewed as follow-up research to a line of work known as “Matrix Sampling Algorithms”. Frieze et al. [59] presented the first such algorithm for the Low-rank Matrix Approximation problem. Since then, such algorithms have been developed for several other problems, e.g. Regression [47], Graph Sparsification [131], and Linear Equation Solving [128]. Our contributions to this line of research are: (i) improved algorithms for Low-rank Matrix Approximation and Regression (ii) algorithms for a new problem domain ( K-means Clustering).

연구 동기 및 목표

• 저질서 열 기반 행렬 근사 및 최소 제곱 회귀에서의 코어셋 구성에 대한 개선된 알고리즘을 개발하기 위해.
• 기존의 문제 영역을 넘어 새로운 문제 영역으로의 행렬 샘플링 기법 확장: k-means 군집화에서의 특징 선택.
• 소수의 열, 행 또는 특징만을 사용할 경우 근사 품질에 대한 이론적 보장을 제공하기 위해.
• 전통적인 문제들 외에도 군집화 응용을 포함하는 행렬 샘플링 프레임워크를 일반화하기 위해.
• 기계학습의 핵심이 되는 대규모 선형 대수 문제에서의 부분집합 선택의 효율성과 정확도를 향상시키기 위해.

제안 방법

• 저질서 근사를 위해 행렬 A의 소수의 대표적인 열 부분집합을 선택하기 위해 행렬 샘플링 기법을 활용한다.
• 전체 최소 제곱 문제의 해 품질을 유지하기 위해 A의 행과 b의 요소에 샘플링 전략을 적용하여 코어셋을 구성한다.
• 군집화 구조를 유지하는 최소한의 특징 집합을 선택함으로써 샘플링 기반 특징 선택을 k-means 군집화에 적응시킨다.
• 행렬의 구조에서 유도된 중요도 점수를 활용한 확률적 샘플링을 통해 근사 정확도를 보장한다.
• 이론적 분석을 통해 r개의 선택된 구성 요소만을 사용할 경우 최적 해에 대한 근사 오차를 경계한다.
• 기존의 저질서 근사를 위한 행렬 샘플링 기법을 통합된 샘플링 프레임워크를 통해 회귀 및 군집화로 확장한다.

실험 결과

연구 질문

• RQ1 저질서 열 기반 행렬 근사에 대해 더 나은 근사 보장을 제공할 수 있도록 행렬 샘플링 기법을 개선할 수 있는가?
• RQ2 샘플링 기반 코어셋 구성 기법을 최소 제곱 회귀의 임의의 제약 도메인으로 확장할 수 있는가?
• RQ3 k-means 군집화에서의 특징 선택 문제에 대해 이론적 성능 보장을 갖는 샘플링 기반 기법을 적용할 수 있는가?
• RQ4 선택된 열, 행 또는 특징의 부분집합이 전체 해에 비해 근사 품질에서 어떻게 비교되는가?
• RQ5 세 문제 전반에 걸쳐 샘플링 근사의 오차에 대해 수립할 수 있는 이론적 경계는 무엇인가?

주요 결과

• 제안된 알고리즘은 저질서 행렬 근사 문제에서 이전 방법들과 경쟁하거나 더 낫게 근사 오차 경계를 달성한다.
• 최소 제곱 회귀 문제에서는 원래 행의 소수의 일부만을 사용함으로써도 해 품질을 유지한다.
• 이 방법은 k-means 군집화에서 샘플링 기반 특징 선택에 대한 첫 이론적 프레임워크를 제공한다.
• 이론적 분석을 통해 선택된 특징 부분집합이 모든 특징을 사용했을 때의 군집화 결과와 유사한 결과를 낳음을 확인한다.
• 다양한 문제들에 걸쳐 샘플링 전략을 통합함으로써 기존 저질서 설정 외에도 넓은 적용 가능성을 보여준다.
• 결과적으로 행렬 샘플링 알고리즘의 적용 범위를 군집화로 확장하여 중요한 새로운 응용 영역을 확보한다.