[論文レビュー] Distributed Learning with Random Features.

Jian Li, Yong Liu+1 more|arXiv (Cornell University)|Jun 7, 2019

Sparse and Compressive Sensing Techniques参考文献 37被引用数 6

ひとこと要約

本稿では、計算コストを低減しつつ最適な一般化を達成するため、ランダム特徴量を用いた分散型カーネルリッジ回帰フレームワークを提案する。標準的な仮定の下で、𝒪(√N) のパーティションと𝒪(√N) のランダム特徴量を用いることで、学習速度が𝒪(1/N) に達することが示され、最適な精度を維持しながら大規模な非パラメトリック学習に効率的にスケーリング可能である。

ABSTRACT

Distributed learning and random projections are the most common techniques in large scale nonparametric statistical learning. In this paper, we study the generalization properties of kernel ridge regression using both distributed methods and random features. Theoretical analysis shows the combination remarkably reduces computational cost while preserving the optimal generalization accuracy under standard assumptions. In a benign case, $\mathcal{O}(\sqrt{N})$ partitions and $\mathcal{O}(\sqrt{N})$ random features are sufficient to achieve $\mathcal{O}(1/N)$ learning rate, where $N$ is the labeled sample size. Further, we derive more refined results by using additional unlabeled data to enlarge the number of partitions and by generating features in a data-dependent way to reduce the number of random features.

研究の動機と目的

• 分散型カーネルリッジ回帰にランダム特徴量を組み合わせた場合の一般化性能を分析すること。
• 大規模な非パラメトリック学習における計算コストを低減しつつ、最適な一般化精度を維持すること。
• ラベルなしデータとデータに依存する特徴量生成が、効率性の向上と特徴量の必要数の削減にどのように寄与するかを調査すること。
• 最適な収束を達成するためのパーティション数およびランダム特徴量の数に対する理論的境界を確立すること。

提案手法

• 本手法は、複数のマシンに分散してデータを分割する分散学習と、カーネル計算コストを低減するランダム特徴量近似を組み合わせる。
• カーネル行列の近似にランダム特徴量を用いることで、一般化性能を損なわずにスケーラブルな計算を実現する。
• 標準的な仮定の下で、一般化誤差の境界を理論的に導出し、𝒪(√N) のパーティションと𝒪(√N) のランダム特徴量で十分であり、𝒪(1/N) の学習速度が達成できることを示す。
• 追加の戦略として、ラベルなしデータを活用してパーティション数を増やすこと、およびデータに依存する方法で特徴量を生成することで、必要なランダム特徴量の数を削減することが可能である。
• 理論的保証の下で、パーティショニングと特徴量近似のバランスを保つことで、最適な一般化精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 分散型カーネルリッジ回帰において、最適な一般化を達成するために必要な最小のパーティション数とランダム特徴量の数は何か？
• RQ2 ラベルなしデータを組み込むことで、ランダム特徴量を用いた分散学習のスケーラビリティと効率性はどのように変化するか？
• RQ3 データに依存する特徴量生成により、一般化精度を維持したまま必要なランダム特徴量の数を削減できるか？
• RQ4 この分散フレームワークにおいて、計算コストと学習速度の間のトレードオフを支配する理論的境界は何か？

主な発見

• 𝒪(√N) のパーティションと𝒪(√N) のランダム特徴量を用いることで、学習速度が𝒪(1/N) に達し、標準的な仮定の下で最適なレートに一致する。
• 分散学習とランダム特徴量の組み合わせにより、最適な一般化精度を維持しながら、計算コストを顕著に低減できる。
• ラベルなしデータを活用することで、パーティション数を増やすことができ、性能を劣化させることなくスケーラビリティが向上する。
• データに依存する特徴量生成により、必要なランダム特徴量の数が削減され、学習プロセス全体の効率性が向上する。