[論文レビュー] A Stochastic Newton Algorithm for Distributed Convex Optimization

Brian Bullins, Kumar Kshitij Patel+3 more|arXiv (Cornell University)|Oct 7, 2021

Stochastic Gradient Optimization Techniques参考文献 44被引用数 4

ひとこと要約

本稿では、分散凸最適化のための確率的ニュートン法であるFedSNを提案する。この手法は、確率的ヘッセ・ベクトル積と勾配を活用することで通信ラウンド数を削減する。1ラウンドの平均化による二次近似のワンショット解法により、1次手法よりも速い収束を達成し、ロジスティック回帰のような準自己相反的目的関数に対して理論的保証を提供する。

ABSTRACT

We propose and analyze a stochastic Newton algorithm for homogeneous distributed stochastic convex optimization, where each machine can calculate stochastic gradients of the same population objective, as well as stochastic Hessian-vector products (products of an independent unbiased estimator of the Hessian of the population objective with arbitrary vectors), with many such stochastic computations performed between rounds of communication. We show that our method can reduce the number, and frequency, of required communication rounds compared to existing methods without hurting performance, by proving convergence guarantees for quasi-self-concordant objectives (e.g., logistic regression), alongside empirical evidence.

研究の動機と目的

• 大規模な機械学習（数百万パラメータ）において顕著な通信頻度の高さが課題となる分散最適化の課題に対処すること。
• 収束性能を損なわせることなく、分散確率的最適化における通信ラウンド数を削減すること。
• ローカルSGDのような1次手法を超える収束加速を実現するため、2次情報（ヘッセ・ベクトル積）を活用すること。
• 完全なヘッセ行列の計算を回避することで計算効率を維持しながら、スケーラブルで分散可能な最適化を可能にする実用的アルゴリズムの設計。
• 間欠的通信モデル下で、準自己相反的目的関数（例：ロジスティック回帰）に対して理論的収束保証を提供すること。

提案手法

• 分散アルゴリズムとして、1ラウンドの平均化による二次部分問題の近似を用いる、Federated-Stochastic-Newton（FedSN）を提案する。
• ニュートンステップを次のように再定式化する：$\min_{\Delta x} \frac{1}{2}\Delta x^{\top}\nabla^{2}F(x)\Delta x + \nabla F(x)^{\top}\Delta x$。この凸二次形式を分散平均化により解く。
• 計算効率の良い一般化線形モデル向けに、確率的勾配オракルと確率的ヘッセ・ベクトル積オラクルを入力として使用する。
• 各マシンが通信前に$K$回の独立した確率的計算を実行することで、通信頻度を低減する。
• 部分問題の解法中に反復的通信を回避するため、1ラウンドでワンショット平均化を適用して二次部分問題を解く。
• ロジスティック回帰におけるヘッセ・ベクトル積がランク1の演算であり、1サンプルあたり$\mathcal{O}(d)$時間で計算可能であることに着目し、計算効率を確保する。

実験結果

リサーチクエスチョン

• RQ1 2次情報は、分散的・確率的設定において、通信ラウンド数の削減に効果的に活用可能か？
• RQ2 間欠的通信モデル下で、確率的ヘッセ・ベクトル積を用いることで、1次手法よりも速い収束が達成されるか？
• RQ3 高コストを伴わずに、ワンショット平均化によりニュートンステップを効果的に近似可能か？
• RQ4 準自己相反的目的関数において、FedSNの収束速度はローカルSGDやFedAcと比べてどうか？
• RQ5 実際の実装において、ヘッセ・ベクトル積オラクルの計算オーバーヘッドは、確率的勾配と比べてどの程度か？

主な発見

• FedSNは最適化誤差に対して指数的減衰を示し、収束レートは$\frac{HB^2}{KR} + \frac{\sigma B}{\sqrt{MK}} + \frac{\rho B^2}{\sqrt{K}R}$である。ここで$H$、$\sigma$、$\rho$はそれぞれ滑らかさ、勾配の分散、ヘッセ・ベクトル積の分散を表す。
• 実験結果から、特に低通信環境下において、FedSNはローカルSGDやFedAcと比較して、同じ精度に到達するための通信ラウンド数を削減することが示された。
• ロジスティック回帰において、ヘッセ・ベクトル積の計算コストは確率的勾配と漸近的に同等であり、効率的な実装が可能である。
• 実行時間測定では、FedSN-LiteはローカルSGD（6.67×10⁻⁵ sec/step 対 6.39×10⁻⁵ sec/step）と比較してわずかに遅れるのみで、最小限のオーバーヘッドである。
• 1回の通信ラウンドのみで高い精度を維持できることから、ワンショット平均化によるニュートンステップ近似の有効性が裏付けられた。
• 間欠的通信モデル下で$M$台のマシンと$R$回の通信ラウンドを想定し、準自己相反的目的関数（ロジスティック回帰を含む）に対して理論的保証が確立された。