[論文レビュー] Distributed Kernel Principal Component Analysis.

Maria-Florina Balcan, Yingyu Liang+3 more|arXiv (Cornell University)|Mar 23, 2015

Sparse and Compressive Sensing Techniques参考文献 29被引用数 9

ひとこと要約

本稿では、多項式カーネルに対して相対誤差を達成し、ガウスカーネルその他のカーネルに対しては小さな加法的誤差を達成する、通信効率の良い分散カーネルPCAアルゴリズムを提案する。列サブセット選択とスケッチを用い、グローバルな主成分を近似する。無作為な部分空間埋め込み、レバレッジスコア近似、および適応的サンプリングを組み合わせることで、通信量が著しく削減され、先行手法と比較して帯域幅を大幅に低減する。

ABSTRACT

Kernel Principal Component Analysis (KPCA) is a key technique in machine learning for extracting the nonlinear structure of data and pre-processing it for downstream learning algorithms. We study the distributed setting in which there are multiple workers, each holding a set of points, who wish to compute the principal components of the union of their pointsets. Our main result is a communication efficient algorithm that takes as input arbitrary data points and computes a set of global principal components, that give relative-error approximation for polynomial kernels, or give relative-error approximation with an arbitrarily small additive error for a wide family of kernels including Gaussian kernels. While recent work shows how to do PCA in a distributed setting, the setting is significantly more challenging. Although the kernel trick is useful for efficient computation, it is unclear how to use it to reduce communication. The main problem with previous work is that it achieves communication proportional to the dimension of the data points, which would be proportional to the dimension of the feature space, or to the number of examples, both of which could be very large. We instead first select a small subset of points whose span contains a good approximation (the column subset selection problem, CSS), and then use sketching for low rank approximation to achieve our result. The column subset selection is done using a careful combination of oblivious subspace embeddings for kernels, oblivious leverage score approximation, and adaptive sampling. These lead to nearly optimal communication bound for CSS, and also lead to nearly optimal communication for KPCA in the constant approximation region. Experiments on large scale real world datasets show the efficacy of our algorithm.

研究の動機と目的

• 複数のワーカーに分散配置されたデータにおいて、グローバルなカーネルPCAを計算する課題に対処すること。
• 従来の方法がデータ次元数やサンプル数に比例して増加する通信コストを、分散KPCAで低減すること。
• 多項式カーネルに対して相対誤差近似を達成し、ガウスカーネルを含む広範なカーネルクラスに対して小さな加法的誤差を達成すること。
• 定数近似の枠組みにおいて、カーネルPCAのほぼ最適な通信バウンドを確立すること。
• 大規模機械学習パイプラインにおけるスケーラブルで効率的な非線形特徴抽出を可能にすること。

提案手法

• まず、列サブセット選択（CSS）を用いて、グローバルなカーネル行列を近似するのに適した少数の代表的データポイントのサブセットを特定する。
• カーネル空間に特化した無作為な部分空間埋め込みを用い、通信量を最小限に抑えつつ低ランク近似の精度を保証する。
• 適応的レバレッジスコア近似を用いて、サブセット選択の段階で情報量の多いポイントを優先的に選択する。
• 適応的サンプリングを適用して、選択されたサブセットを精緻化し、近似品質を向上させつつ通信量を維持する。
• スケッチ技術を用いて、分散環境下でカーネル行列の低ランク近似を効率的に計算する。
• これらの要素を組み合わせることで、CSSおよびKPCAの両方においてほぼ最適な通信複雑性を達成する。

実験結果

リサーチクエスチョン

• RQ1 データ次元数やサンプル数に依存しない通信複雑性で、分散環境下におけるカーネルPCAに対して相対誤差近似を達成できるか？
• RQ2 カーネル空間におけるデータのグローバルな非線形構造を捉える少数のポイントを効果的に選択するにはどうすればよいか？
• RQ3 多項式カーネルおよびガウスカーネルの両方の近似保証を維持しつつ、分散KPCAにおける通信量を低減するにはどのような技術が有効か？
• RQ4 無作為な部分空間埋め込みとレバレッジスコア近似を、分散環境下でのカーネルベースの低ランク近似に適応可能か？
• RQ5 分散KPCAにおける理論的通信バウンドはどの程度達成可能か？また、そのバウンドにどの程度近づけるか？

主な発見

• 提案されたアルゴリズムは、多項式カーネルに対して通信複雑性がほぼ最適となる相対誤差近似を達成する。
• ガウスカーネルを含む広範なカーネル族に対して、任意に小さな加法的誤差を伴う相対誤差近似を提供する。
• 従来の方法がデータ次元数やサンプル数に比例するのに対し、通信コストは著しく低減されている。
• 無作為な部分空間埋め込み、レバレッジスコア近似、および適応的サンプリングの組み合わせにより、ほぼ最適な列サブセット選択が達成される。
• 大規模な実世界データセットを用いた実験により、通信量を削減しつつも高い近似品質を維持できることを確認した。
• 理論的解析により、定数近似の枠組みにおいて、列サブセット選択およびカーネルPCAの両問題に対してほぼ最適な通信バウンドが確立された。