[論文レビュー] WONDER: Weighted one-shot distributed ridge regression in high dimensions

Edgar Dobriban, Sheng Yue|arXiv (Cornell University)|Mar 21, 2019

Stochastic Gradient Optimization Techniques被引用数 7

ひとこと要約

本稿では、プライバシーまたは物流上の制約によりデータを中央集積できない分散型の高次元設定において、推定精度を著しく向上させるために、合計が1より大きい最適な重みを使用する、重み付きワンショット分散リッジ回帰手法WONDERを提案する。これはリッジ回帰の下向きバイアスのため、直感に反するが、性能向上が達成される。Million Song Datasetでは、テスト精度を維持したまま計算を最大100倍高速化する近似的最適性能を達成する。

ABSTRACT

In many areas, practitioners need to analyze large datasets that challenge conventional single-machine computing. To scale up data analysis, distributed and parallel computing approaches are increasingly needed. Here we study a fundamental and highly important problem in this area: How to do ridge regression in a distributed computing environment? Ridge regression is an extremely popular method for supervised learning, and has several optimality properties, thus it is important to study. We study one-shot methods that construct weighted combinations of ridge regression estimators computed on each machine. By analyzing the mean squared error in a high dimensional random-effects model where each predictor has a small effect, we discover several new phenomena. 1. Infinite-worker limit: The distributed estimator works well for very large numbers of machines, a phenomenon we call "infinite-worker limit". 2. Optimal weights: The optimal weights for combining local estimators sum to more than unity, due to the downward bias of ridge. Thus, all averaging methods are suboptimal. We also propose a new Weighted ONe-shot DistributEd Ridge regression (WONDER) algorithm. We test WONDER in simulation studies and using the Million Song Dataset as an example. There it can save at least 100x in computation time, while nearly preserving test accuracy.

研究の動機と目的

• プライバシーや物流上の制約によりデータを中央集約できない分散型の高次元設定において、リッジ回帰を効率的に実行する課題に対処すること。
• 複数のマシンで得た局所的リッジ回帰の結果を最適な重みで組み合わせることで、ワンショット分散推定フレームワークを構築すること。
• 小さな予測子効果を伴う高次元のランダム効果モデルにおける分散推定量の平均二乗誤差を分析すること。
• リッジ回帰の縮小バイアスのため、最適な重みの合計が1より大きいという直感に反する現象を特定・解釈すること。
• 通信量と計算負荷を最小限に抑えつつ、近似的最適性能を達成する実用的アルゴリズム—WONDER—の設計と検証すること。

提案手法

• 各マシンで局所データを用いて独立にリッジ回帰を実行し、局所推定量 $\hat{\beta}_i$ を得る。
• 平均二乗誤差を最小化するように重みを用いて、グローバル推定量を $\hat{\beta}_{\text{dist}} = \sum_{i=1}^k w_i \hat{\beta}_i$ として構築する。
• 最適な重みは、確率的行列理論と自由確率論を用いて導出され、バイアス補正の必要性により $\sum w_i > 1$ となる。
• 重みは局所のサンプルサイズ、特徴量次元、正則化パラメータに依存し、Stieltjes変換 $m_\gamma$ を含む閉形式の式で表される。
• WONDERアルゴリズムとして実装され、局所統計に基づいて重みを計算し、1回の通信ラウンドで集約される。
• 理論的分析では、i.i.d. 特徴量と小さな効果を仮定した高次元漸近的モデルが用いられ、推定誤差の正確な特徴づけが可能になる。

実験結果

リサーチクエスチョン

• RQ1 ワンショット分散リッジ回帰における最適な重みが1より大きいのはなぜか、標準的な平均化の直感とは逆である。
• RQ2 マシン数が無限大に近づく際、ワンショット分散リッジ回帰の性能限界は何か。
• RQ3 高次元のランダム効果モデルにおいて、平均二乗誤差を最小化する最適な重みをどのように導出できるか。
• RQ4 通信量と計算量を最小限に抑えつつ、近似的最適性能を達成する実用的アルゴリズムを設計できるか。
• RQ5 高次元領域において、分散推定量のリスクと最適リスクの関係は何か。

主な発見

• リッジ回帰の固有の下向きバイアスのため、局所的リッジ推定量を組み合わせる最適な重みの合計は1より大きい。これは単純な平均化が最適でないことを示唆する。
• 本稿では、任意に多くのマシンを用いても高い性能を維持する「無限のワーカー極限」を確立する。
• 提案されたWONDERアルゴリズムは、Million Song Datasetにおいて、集中型リッジ回帰と比較してほぼ同等のテスト精度を維持しながら、最大100倍の高速化を達成する。
• 理論的分析により、分散推定量の漸近的相対効率（ARE）が $1/(1 + \alpha^2)$ 以上で有界であることが示され、$\gamma$ と $\alpha^2$ に依存するより鋭い境界も得られる。
• 最適な重み関数は $\mathcal{W}(k,\gamma,\alpha) = \frac{1}{k - (k-1) \cdot \phi(k\gamma)/\alpha^2}$ として導出され、ここで $\phi(\gamma) = \gamma m_\gamma(-\gamma/\alpha^2)$ である。
• バイアス-分散分解を用いた理論的裏付けにより、縮小推定量は平均二乗誤差を最小化するためにスケーリングアップ（重みの増幅）が必要であることが示される。