[論文レビュー] Communication Efficient Distributed Kernel Principal Component Analysis

Maria-Florina Balcan, Yingyu Liang+3 more|arXiv (Cornell University)|Mar 23, 2015

Face and Expression Recognition被引用数 4

ひとこと要約

この論文は、部分空間埋め込みと適応的サンプリングを用いて、相対誤差の保証を持つグローバルなカーネル主成分を計算する通信効率の良い分散型カーネルPCAアルゴリズムを提案する。特徴空間次元に依存せず、通信複雑度が Õ(sρk/ε + sk²/ε³) 単語に近似的に最適化されており、実世界のデータセットにおいて、精度と通信効率の両面でベースラインを上回る。

ABSTRACT

Kernel Principal Component Analysis (KPCA) is a key machine learning algorithm for extracting nonlinear features from data. In the presence of a large volume of high dimensional data collected in a distributed fashion, it becomes very costly to communicate all of this data to a single data center and then perform kernel PCA. Can we perform kernel PCA on the entire dataset in a distributed and communication efficient fashion while maintaining provable and strong guarantees in solution quality? In this paper, we give an affirmative answer to the question by developing a communication efficient algorithm to perform kernel PCA in the distributed setting. The algorithm is a clever combination of subspace embedding and adaptive sampling techniques, and we show that the algorithm can take as input an arbitrary configuration of distributed datasets, and compute a set of global kernel principal components with relative error guarantees independent of the dimension of the feature space or the total number of data points. In particular, computing $k$ principal components with relative error $ε$ over $s$ workers has communication cost $ ilde{O}(s ρk/ε+s k^2/ε^3)$ words, where $ρ$ is the average number of nonzero entries in each data point. Furthermore, we experimented the algorithm with large-scale real world datasets and showed that the algorithm produces a high quality kernel PCA solution while using significantly less communication than alternative approaches.

研究の動機と目的

• カーネルPCAのための中央ノードへの分散型高次元データの転送に伴う高い通信コストを低減すること。
• 非線形特徴抽出における解の品質に強い理論的保証を維持する分散アルゴリズムの開発。
• カーネル特徴空間次元に依存しない通信複雑度を達成すること。これは無限大である可能性がある。
• 画像、テキスト、医療データ分析などの大規模応用に適したスケーラブルで通信量の少ないカーネルPCAの実現。
• 分散スペクトラルクラスタリングおよび下流の機械学習タスクに対する実用的で理論的根拠のあるソリューションの提供。

提案手法

• 適応的サンプリングを用いて、グローバルなカーネル部分空間構造を保持する小さな代表的データポイントのサブセットを構築する。
• 部分空間埋め込み技術を適用して、選択されたサブセットが全データのカーネル主成分を (1+ε) 相対誤差内で近似することを保証する。
• マスターワーカーアーキテクチャで動作し、各ワーカーがデータパーティションを保持し、マスター以外との通信は行わない。
• 多項式およびシフト不変カーネル（例：RBF）に対しては、(1+ε)-近似が得られ、加法誤差を任意に小さくできる。
• 通信コスト O(sρk/ε + sk²) を達成する、新しい分散型カラムサブセット選択（CSS）アルゴリズムをサブルーチンとして導入し、下界にほぼ一致する。
• アルゴリズムはデータを計算された低ランク部分空間に射影し、分散k-meansクラスタリングなどの下流応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 カーネル特徴空間次元に依存しない通信コストで、分散環境におけるカーネルPCAを実現できるか？
• RQ2 最小限の通信量で、最良のランク-kカーネル部分空間に対する (1+ε)-相対誤差近似を達成できるか？
• RQ3 グローバルなカーネルPCA解を近似するために、小さな代表的データポイントのサブセットを選択する通信効率の良いアルゴリズムを設計できるか？
• RQ4 複数のワーカーにスケーリングしても、高い解の品質を維持できるか？
• RQ5 通信効率と近似精度の両面で、一様サンプリングおよびバッチKPCAを上回るか？

主な発見

• 通信コストが Õ(sρk/ε + sk²/ε³) 単語に抑えられ、特徴空間次元に依存せず、ほぼ最適である。
• bow や 20news のようなスパースデータセットでは、スパarsityを活かして一様サンプリング手法よりも顕著に低い誤差を達成する。
• ガウスRBFカーネルでは、後者の方がはるかに多くの通信量を要するにもかかわらず、disKPCAは一様 + バッチKPCAより低い近似誤差を達成する。
• higgs データセットでは、disKPCAは通信コストの5分の1未満で、一様 + disLR と同等の誤差を達成する。
• アルゴリズムは効果的な分散スペクトラルクラスタリングを可能にし、通信量とk-means目的関数値のトレードオフにおいてベースラインを上回る。
• スケーリング実験では、ワーカー数を4倍にしたところ2倍の高速化が達成され、計算最適化を目的としていないにもかかわらず、良好な並列化特性を示す。