[論文レビュー] Distributed learning with regularized least squares

Shao-Bo Lin, Xin Guo+1 more|arXiv (Cornell University)|Aug 11, 2016

Sparse and Compressive Sensing Techniques参考文献 29被引用数 72

ひとこと要約

本稿では、再現核ヒルベルト空間（RKHS）における正則化最小二乗法を用いた分散学習アルゴリズムを提案する。データは複数のマシンに分割され、各マシンで局所的なモデルを独立に学習し、重み付き平均を用いてグローバル予測子を構築する。主な貢献は、作用素差の新しい2次分解を導入し、$L^2$およびRKHSノルムにおいて期待値に関する鋭い誤差バインディングを確立したことである。これにより、固有関数の仮定を必要とせず、中央集権的解に非常に近い近似が可能であり、一般カーネル設定下で既存の最良の学習レートを達成している。

ABSTRACT

We study distributed learning with the least squares regularization scheme in a reproducing kernel Hilbert space (RKHS). By a divide-and-conquer approach, the algorithm partitions a data set into disjoint data subsets, applies the least squares regularization scheme to each data subset to produce an output function, and then takes an average of the individual output functions as a final global estimator or predictor. We show with error bounds in expectation in both the $L^2$-metric and RKHS-metric that the global output function of this distributed learning is a good approximation to the algorithm processing the whole data in one single machine. Our error bounds are sharp and stated in a general setting without any eigenfunction assumption. The analysis is achieved by a novel second order decomposition of operator differences in our integral operator approach. Even for the classical least squares regularization scheme in the RKHS associated with a general kernel, we give the best learning rate in the literature.

研究の動機と目的

• 再現核ヒルベルト空間（RKHS）における分散学習の一般化性能を分析すること。
• 積分作用素の固有関数の仮定を必要としない、局所モデルの平均から得られるグローバル推定子の期待誤差バインディングを確立すること。
• 作用素差の新しい2次分解技術を開発し、よりタイトな誤差解析を可能とすること。
• 一般カーネル設定下での古典的正則化最小二乗法の最良の既知の学習レートを導出すること。

提案手法

• 全データセット $D$ を $m$ 個の互いに素な部分集合 $\{D_j\}_{j=1}^m$ に分割し、分散処理を行う。
• 各部分集合 $D_j$ に対して、カーネル $K$ と正則化パラメータ $\lambda$ を用いて正則化最小二乗推定子 $f_{D_j,\lambda}$ を適用する。
• 局所推定子の重み付き平均としてグローバル推定子 $\overline{f}_{D,\lambda} = \sum_{j=1}^m \frac{|D_j|}{|D|} f_{D_j,\lambda}$ を構築する。
• 積分作用素のアプローチを用いて、$\overline{f}_{D,\lambda} - f_{D,\lambda}$ の差を経験的および母集団の積分作用素の形で表現する。
• 期待誤差を $L^2$ および RKHS ノルムの両方でバインドするために、作用素差の新しい2次分解を導入する。
• 集中不等式と有効次元 $\mathcal{N}(\lambda)$ に関するトレースに基づくバインディングを用いて、高確率および期待誤差バインディングを導出する。

実験結果

リサーチクエスチョン

• RQ1 分散環境下で、局所的に学習された正則化最小二乗モデルの平均は、全データセット上で学習されたモデルをどの程度正確に近似するか？
• RQ2 積分作用素の固有関数展開の仮定をしないで、分散正則化最小二乗法の鋭い誤差バインディングを確立できるか？
• RQ3 メルツァー核を用いた一般のRKHS設定下で、正則化最小二乗法の最適な学習レートは何か？
• RQ4 提案された作用素差の2次分解は、先行手法と比較して誤差解析をどのように改善するか？
• RQ5 誤差バインディングは、分割数 $m$、サンプルサイズ $N$、正則化パラメータ $\lambda$ にどのように依存するか？

主な発見

• 提案された分散学習アルゴリズムは、固有関数の仮定を必要とせず、中央集権的正則化最小二乗法の最良の既知のレートと一致する期待誤差バインディングを達成する。
• $L^2$ ノルムにおける誤差は $\mathcal{O}\left(\frac{\kappa^2 \mathcal{N}(\lambda)}{N\lambda}\right)$ でバインドされ、ここで $\kappa$ はカーネルの essentially sup であり、$\mathcal{N}(\lambda)$ は有効次元である。
• RKHS ノルムにおける誤差は $\mathcal{O}\left(\frac{\kappa^2 \mathcal{N}(\lambda)}{N}\right)$ でバインドされ、グローバル推定子がネイティブ空間における真の関数に近いことが示される。
• 本稿では、一般カーネル設定下で正則化最小二乗法の文献で最も良い学習レートを確立し、ややきつい条件下で $\mathcal{O}(N^{-1})$ を達成している。
• 作用素差の2次分解により、特に高次元または悪条件な設定下で、先行手法よりもタイトなバインディングが可能になっている。
• 高確率バインディングは、$\log(2/\delta)$ 要因を含む新規の集中不等式を用いて導出されており、有限サンプル条件下でのロバストネスを保証している。