[論文レビュー] Topics in matrix sampling algorithms

Petros Drineas, Christos Boutsidis|arXiv (Cornell University)|Jan 1, 2011

Sparse and Compressive Sensing Techniques参考文献 135被引用数 12

ひとこと要約

本稿では、機械学習の3つの根幹的問題における新しい行列サンプリングアルゴリズムを提示する：低ランク列ベースの行列近似、最小二乗回帰におけるコアセット構築、k-平均クラスタリングにおける特徴選択。小さな列、行、または特徴のサブセットを選択することで、提案手法は完全データ解と同等の近似品質を達成し、理論的保証が向上し、k-平均クラスタリングへの新しい応用が可能となる。

ABSTRACT

We study three fundamental problems of Linear Algebra, lying in the heart of various Machine Learning applications, namely: (i) Low-rank Column-based Matrix Approximation, (ii) Coreset Construction in Least-Squares Regression, and (iii) Feature Selection in k-means Clustering. A high level description of these problems is as follows: given a matrix A and an integer r, what are the r most “important” columns (or rows) in A? A more detailed description is given momentarily. 1. Low-rank Column-based Matrix Approximation. We are given a matrix A and a target rank k. The goal is to select a subset of columns of A and, by using only these columns, compute a rank k approximation to A that is as good as the rank k approximation that would have been obtained by using all the columns. 2. Coreset Construction in Least-Squares Regression. We are given a matrix A and a vector b. Consider the (over-constrained) least-squares problem of minimizing ||Ax − b||2, over all vectors x ∈ D . The domain D represents the constraints on the solution and can be arbitrary. The goal is to select a subset of the rows of A and b and, by using only these rows, find a solution vector that is as good as the solution vector that would have been obtained by using all the rows. 3. Feature Selection in K-means Clustering. We are given a set of points described with respect to a large number of features. The goal is to select a subset of the features and, by using only this subset, obtain a k-partition of the points that is as good as the partition that would have been obtained by using all the features. We present novel algorithms for all three problems mentioned above. Our results can be viewed as follow-up research to a line of work known as “Matrix Sampling Algorithms”. Frieze et al. [59] presented the first such algorithm for the Low-rank Matrix Approximation problem. Since then, such algorithms have been developed for several other problems, e.g. Regression [47], Graph Sparsification [131], and Linear Equation Solving [128]. Our contributions to this line of research are: (i) improved algorithms for Low-rank Matrix Approximation and Regression (ii) algorithms for a new problem domain ( K-means Clustering).

研究の動機と目的

• 低ランク列ベースの行列近似および最小二乗回帰におけるコアセット構築のための、より優れたアルゴリズムの開発。
• 行列サンプリング技術を、新たな問題分野へと拡張する：k-平均クラスタリングにおける特徴選択。
• 列、行、または特徴の小さなサブセットのみを用いた場合の近似品質に関する理論的保証の提供。
• 従来の問題から拡張して、クラスタリング応用を含む、行列サンプリングフレームワークの一般化。
• 機械学習の中心的である大規模な線形代数問題におけるサブセット選択の効率性と正確性の向上。

提案手法

• 低ランク近似のため、行列Aから代表的な小さな列サブセットを行列サンプリング技術を用いて選択する。
• 完全な最小二乗問題の解の品質を保持するコアセットを構築するために、Aの行およびbの要素に対するサンプリング戦略を適用する。
• クラスタ構造を保持する最小限の特徴セットを選択することで、k-平均クラスタリングにサンプリングベースの特徴選択を適応する。
• 行列構造から導出される重要度スコアに基づく確率的サンプリングを用い、近似の正確性を保証する。
• 理論的分析を用いて、r個の選択成分のみを用いた場合の近似誤差を最適解に対する相対誤差として境界づける。
• 従来の低ランク近似を目的とした行列サンプリングの研究を、統一されたサンプリングフレームワークを用いて回帰およびクラスタリングへと拡張する。

実験結果

リサーチクエスチョン

• RQ1 行列サンプリング技術は、低ランク列ベースの行列近似において、より優れた近似保証を提供するために改善可能か？
• RQ2 サンプリングベースのコアセット構築は、最小二乗回帰における任意の制約領域へと拡張可能か？
• RQ3 行列サンプリングは、理論的性能保証を伴って、k-平均クラスタリングにおける特徴選択問題に適応可能か？
• RQ4 選択された列、行、または特徴のサブセットは、完全解と比べてどの程度の近似品質を達成するか？
• RQ5 すべての3つの問題に対して、サンプリング近似の誤差に関する理論的境界を確立できるか？

主な発見

• 提案アルゴリズムは、低ランク行列近似において、先行研究と比較して競争的または優れた近似誤差境界を達成する。
• 最小二乗回帰においては、元の行のわずかな割合でのみ、コアセット構築が解の品質を維持する。
• 本手法は、k-平均クラスタリングにおけるサンプリングベースの特徴選択のための、初めての理論的フレームワークを提供する。
• 理論的分析により、選択された特徴サブセットが、すべての特徴を用いた場合とほぼ同等のクラスタリングを達成することが確認された。
• 異なる問題にわたるサンプリング戦略の統一により、元の低ランク設定を超えた広範な適用可能性が示された。
• 結果として、行列サンプリングアルゴリズムの適用範囲がクラスタリングへと拡張され、顕著な新しい応用分野が実現された。