[論文レビュー] Distributed linear regression by averaging

Edgar Dobriban, Yue Sheng|arXiv (Cornell University)|Sep 30, 2018

Random Matrices and Applications参考文献 63被引用数 17

ひとこと要約

本稿では、複数のマシン間で1ステップおよび反復的パラメータ平均化を用いた分散線形回帰を研究し、高次元設定（p ≈ n）において推定誤差および信頼区間長が著しく増加する一方で、予測誤差はわずかに増加することを示している。ランダム行列理論を用いて、データの共分散に依存しない普遍的な漸近的効率を精確に導出し、マシン数に応じて推定精度が線形に低下することを明らかにしている。

ABSTRACT

Distributed statistical learning problems arise commonly when dealing with large datasets. In this setup, datasets are partitioned over machines, which compute locally, and communicate short messages. Communication is often the bottleneck. In this paper, we study one-step and iterative weighted parameter averaging in statistical linear models under data parallelism. We do linear regression on each machine, send the results to a central server, and take a weighted average of the parameters. Optionally, we iterate, sending back the weighted average and doing local ridge regressions centered at it. How does this work compared to doing linear regression on the full data? Here we study the performance loss in estimation, test error, and confidence interval length in high dimensions, where the number of parameters is comparable to the training data size. We find the performance loss in one-step weighted averaging, and also give results for iterative averaging. We also find that different problems are affected differently by the distributed framework. Estimation error and confidence interval length increase a lot, while prediction error increases much less. We rely on recent results from random matrix theory, where we develop a new calculus of deterministic equivalents as a tool of broader interest.

研究の動機と目的

• p ≈ n の高次元設定におけるパラメータ平均化を用いた分散線形回帰の統計的性能を分析すること。
• 分散学習フレームワークにおける通信効率と統計的精度のトレードオフを定量化すること。
• データをマシン間で分割した場合、推定、予測、推論という異なる学習目的がどのように影響を受けるかを理解すること。
• 漸近的挙動の分析のための新規理論的ツール、決定的同等物の微積分を構築すること。

提案手法

• k 個の分散データサブセットを別々のマシン上で通常最小二乗法（OLS）回帰を実行する。
• 局所的なサンプルサイズおよび共分散構造から導かれる最適な重みを用いて、中央サーバー上で局所的OLS推定値の重み付き平均を計算する。
• 前回のグローバル平均を中心に局所的リッジ回帰を実行する反復的アルゴリズムを提案し、収束を改善し誤差を低減する。
• 特に決定的同等物を含む最近の漸近的ランダム行列理論の結果を用いて、誤差指標の正確な漸近的表現を導出する。
• 比例的漸近的設定（p/n → c）の下で、推定、予測、信頼区間長の閉形式の漸近的相対効率を導出する。
• ガウス分布および楕円分布モデル、および実世界のNYCフライトデータを用いたシミュレーションにより理論的結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 分散線形回帰における1ステップパラメータ平均化は、高次元設定下で中央集中OLSと比較して推定誤差にどのように影響を与えるか？
• RQ2 分散平均化下で予測誤差はどの程度増加するのか？また、なぜ推定誤差ほど感度が高くないのか？
• RQ3 分散推定器の漸近的効率は普遍的であり、データ共分散構造や局所的サンプルサイズに依存しないのか？
• RQ4 反復的パラメータ平均化は中央学習との性能ギャップを縮小できるか？その場合の計算・統計のトレードオフは何か？
• RQ5 分散線形回帰における性能損失の正確な数学的構造は何か？また、ランダム行列理論を用いてどのように定量化できるか？

主な発見

• 1ステップの重み付き平均化は、推定誤差および信頼区間長において顕著で定量可能な性能損失を引き起こし、効率はマシン数 k に応じて線形に低下する。
• 予測誤差は分散平均化下でははるかに小さい増加にとどまり、予測は推定や推論よりも分散フレームワークに対してより頑健であることが示唆される。
• 推定の漸近的相対効率は普遍的であり、データ共分散行列や局所的サンプルサイズに依存せず、k と比 c = p/n のみに依存する。
• グローバル平均を中心に局所的リッジ回帰を用いた反復的パラメータ平均化は誤差を顕著に低減し、より良い統計的性能を実現する道筋を提供する。
• 推定および予測の相対効率に関する理論的式は、合成データおよび実世界データ（例：NYCフライトデータセット）における実験結果とよく一致し、漸近的近似の妥当性が裏付けられる。
• サンプリングのばらつきにより、実験的相対効率が1を超える場合があるが、理論的期待値は常に ≤1 であり、漸近的境界が正当化されることを確認する。