[論文レビュー] Comunication-Efficient Algorithms for Statistical Optimization

Yuchen Zhang, John C. Duchi+1 more|arXiv (Cornell University)|Sep 19, 2012

Stochastic Gradient Optimization Techniques被引用数 27

ひとこと要約

本稿は、分散統計最適化のための通信効率の高いアルゴリズムを提案し、平均混合手法と、新しいブートストラップに基づくサブサンプリング手法を導入する。両手法が、$m \leq \sqrt{N}$ のとき中央集権的ベースラインを上回る、より速い平均二乗誤差（MSE）の減少率—具体的には、$\mathcal{O}(N^{-1} + (N/m)^{-2})$ および $\mathcal{O}(N^{-1} + (N/m)^{-3})$—を達成することを確立し、大規模なロジスティック回帰問題における実証的検証を実施した。

ABSTRACT

We analyze two communication-efficient algorithms for distributed statistical optimization on large-scale data sets. The first algorithm is a standard averaging method that distributes the $N$ data samples evenly to $ ummac$ machines, performs separate minimization on each subset, and then averages the estimates. We provide a sharp analysis of this average mixture algorithm, showing that under a reasonable set of conditions, the combined parameter achieves mean-squared error that decays as $\order(N^{-1}+(N/m)^{-2})$. Whenever $m \le \sqrt{N}$, this guarantee matches the best possible rate achievable by a centralized algorithm having access to all $ otalnumobs$ samples. The second algorithm is a novel method, based on an appropriate form of bootstrap subsampling. Requiring only a single round of communication, it has mean-squared error that decays as $\order(N^{-1} + (N/m)^{-3})$, and so is more robust to the amount of parallelization. In addition, we show that a stochastic gradient-based method attains mean-squared error decaying as $O(N^{-1} + (N/ m)^{-3/2})$, easing computation at the expense of penalties in the rate of convergence. We also provide experimental evaluation of our methods, investigating their performance both on simulated data and on a large-scale regression problem from the internet search domain. In particular, we show that our methods can be used to efficiently solve an advertisement prediction problem from the Chinese SoSo Search Engine, which involves logistic regression with $N \approx 2.4 imes 10^8$ samples and $d \approx 740,000$ covariates.

研究の動機と目的

• 大規模データ環境下における分散最適化の統計的・計算的効率を分析すること。
• 分散データ分割下での平均二乗誤差（MSE）の観点から、平均混合（Avgm）アルゴリズムの性能を評価すること。
• 通信コストを低減しつつMSE収束を改善する、新しいブートストラップに基づくサブサンプリング手法の開発と分析。
• 分散学習における計算、通信、統計的精度の間のトレードオフを比較すること。
• 合成データおよび $2.4 \times 10^8$ 個のサンプルと 740,000 個の共変量を有する実世界の広告予測問題において、提案手法の妥当性を検証すること。

提案手法

• 平均混合（Avgm）アルゴリズムは、$N$ 個のデータサンプルを $m$ 台のマシンに均等に分割し、各マシンで局所的経験的リスク最小化を実行した後、結果を平均化する。
• 1ラウンドの通信のみを要するブートストラップに基づくサブサンプリング手法を導入し、高次モーメント情報を利用することでMSE収束を改善する。
• 理論的分析では、2次テイラー展開と集中不等式を用いて推定誤差をバインドし、フィッシャー情報と3次微分に関する仮定を組み込む。
• 誤差分解における剰余項を制御するために、ホルダーの不等式およびコーシー・シュワルツの不等式を適用し、特に高次元かつ非i.i.d.な設定下でも有効である。
• 勾配降下法をベースラインとして分析し、MSEレートが $\mathcal{O}(N^{-1} + (N/m)^{-3/2})$ に達することを示し、提案手法より収束が遅いことが判明した。
• 損失関数の正則性条件の下で理論的バインドを導出しており、3次微分の有界性およびスコア関数のモーメント条件を含む。

実験結果

リサーチクエスチョン

• RQ1 平均混合アルゴリズムは、分散データ分割下でも中央集権的推定と同等の統計的効率を達成できるか？
• RQ2 提案されたブートストラップに基づくサブサンプリング手法は、1回の通信ラウンドのみで、平均混合手法を上回るMSE収束を実現できるか？
• RQ3 分散最適化における通信コスト、計算負荷、統計的精度の根本的トレードオフは何か？
• RQ4 提案手法のMSEレートは、マシン数 $m$ と総サンプル数 $N$ に対してどのようにスケーリングされるか？
• RQ5 これらの手法は、数十億個のサンプルを有するロジスティック回帰のような大規模な実世界問題に実用的に適用可能か？

主な発見

• 平均混合アルゴリズムは、$m \leq \sqrt{N}$ のとき、最適な中央集権的レートと一致するMSEレート $\mathcal{O}(N^{-1} + (N/m)^{-2})$ を達成する。
• ブートストラップに基づくサブサンプリング手法は、より速いMSEレート $\mathcal{O}(N^{-1} + (N/m)^{-3})$ を達成し、並列マシン数の変動に対してより頑健である。
• 勾配ベースの手法はMSEレート $\mathcal{O}(N^{-1} + (N/m)^{-3/2})$ を達成し、計算コストを低減するが、収束が遅い。
• 理論的バインドはタイトであり、対数尤度最適化の場合はフィッシャー情報行列のトレースに依存する。
• 実験的結果は、$N \approx 2.4 \times 10^8$ 個のサンプルと $d \approx 740,000$ 個の特徴を有する大規模な広告予測タスクにおいて、手法の有効性を確認した。
• 分析により、誤差分解における剰余項が $\mathcal{R}_3$ であり、正則性仮定の下でモーメントバインドと集中不等式によって制御可能であることが示された。