[論文レビュー] How Many Machines Can We Use in Parallel Computing for Kernel Ridge Regression?

Meimei Liu, Zuofeng Shang+1 more|arXiv (Cornell University)|May 25, 2018

Statistical Methods and Inference参考文献 24被引用数 6

ひとこと要約

本稿は、非パラメトリック推定および仮説検定の両方において統計的最適性を維持しつつ、カーネルリッジ回帰に並列して使用可能なマシン数の理論的上限を確立する。経験過程理論を用いて、スムージングスプラインやガウス型RKHSといった重要なケースにおいて、対数要因を除いて改善不能なミニマックス最適なマシン数の上限を導出し、証明可能最適性を有する分散型非パラメトリック検定のための新規なワルド型検定統計量を提案する。

ABSTRACT

This paper aims to solve a basic problem in distributed statistical inference: how many machines can we use in parallel computing? In kernel ridge regression, we address this question in two important settings: nonparametric estimation and hypothesis testing. Specifically, we find a range for the number of machines under which optimal estimation/testing is achievable. The employed empirical processes method provides a unified framework, that allows us to handle various regression problems (such as thin-plate splines and nonparametric additive regression) under different settings (such as univariate, multivariate and diverging-dimensional designs). It is worth noting that the upper bounds of the number of machines are proven to be un-improvable (upto a logarithmic factor) in two important cases: smoothing spline regression and Gaussian RKHS regression. Our theoretical findings are backed by thorough numerical studies.

研究の動機と目的

• 分散型カーネルリッジ回帰において、統計的最適性を損なわずに使用可能なマシン数の最大値を特定すること。
• 従来の1変量固定設計に限らない分散型カーネルリッジ回帰における分割統治法の結果を、多変量および確率的設計へと拡張すること。
• 分散型非パラメトリック回帰における推定と検定の両者を統一的に分析する理論的枠組みを構築すること。
• 発散する成分を有する非パラメトリック加法モデルにおけるミニマックス最適検定レートを確立すること、これは新たな貢献である。
• 最適推定および検定におけるマシン数 $ s $ に対するタイトで改善不能な上界を導出し、理論的およびシミュレーション的検証を実施すること。

提案手法

• 分散型カーネルリッジ回帰における局所推定子とグローバル推定子との乖離を制限するために、経験過程理論を用いる。
• 経験過程の濃縮不等式を用いて、複数のマシンにデータを分割することによって生じる統計的誤差を定量化する。
• スムージングスプライン回帰における等価カーネルのグリーン関数を適用して、経験過程の境界を精緻化し、マシン数の上限を向上させる。
• 分散型設定における非パラメトリック検定のためのワルド型検定統計量を提案し、漸近的帰無分布およびパワー解析を実施する。
• 非パラメトリック加法モデルの発散次元を有する場合のミニマックス検定レートを、新たなガウス系列モデルへの還元を用いて導出する。
• 統計的リスクと計算コストの相互作用を分析することで、マシン数 $ s $ に対する改善不能な上界を確立する。

実験結果

リサーチクエスチョン

• RQ1 カーネルリッジ回帰において、ミニマックス最適推定を維持しつつ並列で使用可能なマシン数 $ s $ の最大値は何か？
• RQ2 分散型設定において、最適推定と最適検定の両者における $ s $ の上界はどのように異なるか？
• RQ3 1変量固定設計を越える一般非パラメトリック設定において、$ s $ に対する理論的境界を、対数要因を除いて改善不能なものにできるか？
• RQ4 発散する成分を有する非パラメトリック加法モデルにおけるミニマックス検定レートは何か？
• RQ5 提案されたワルド型検定統計量は、分散型フレームワークにおいて帰無仮説および対立仮説の下で漸近的にどのように振る舞うか？

主な発見

• スムージングスプラインおよびガウス型RKHS回帰において、最適推定のためのマシン数 $ s $ の上界は、対数要因を除いて改善不能であり、既存の文献で知られている最もタイトな境界と一致する。
• スムージングスプライン回帰において、導出された $ s $ の上界は、先行研究を多項式のオーダーで改善し、$ s \asymp N^{\frac{2m}{4m+1}} $ を達成する。ここで $ m $ は滑らかさパラメータである。
• 最適検定のための上界は、最適推定の上界よりも顕著に小さいことが判明し、両問題における計算コストの上限に根本的な違いがあることが示された。
• 発散する成分を有する非パラメトリック加法モデルに対して、$ d_{N,\lambda,d}^{*} \asymp d^{\frac{2m+1}{2(4m+1)}} N^{-\frac{2m}{4m+1}} $ の新しいミニマックス検定レートが導出された。これは独立に興味深い結果である。
• 提案されたワルド型検定統計量は、帰無仮説の下で漸近正規性を示し、対立仮説の下でも非自明なパワーを持つ。その最適性はマシン数に依存する。
• 数値実験により理論的予測が確認され、$ s $ が導出された上界を超えると統計的性能が劣化することが示された。