[論文レビュー] Communication Efficient Distributed Optimization using an Approximate Newton-type Method

Ohad Shamir, Nathan Srebro+1 more|arXiv (Cornell University)|Dec 30, 2013

Stochastic Gradient Optimization Techniques参考文献 18被引用数 83

ひとこと要約

本稿では、複数のマシン間での統計的類似性を活用した近似ニュートン型アルゴリズムに基づく通信効率の高い分散最適化手法 DANE を提案する。データサイズが増加するにつれて収束速度が向上する線形収束を達成し、ワンショット平均化、勾配降下法、ADMM よりも通信ラウンド数を大幅に削減しながら、合成的および実世界の学習タスクにおいて顕著に優れた性能を発揮する。

ABSTRACT

We present a novel Newton-type method for distributed optimization, which is particularly well suited for stochastic optimization and learning problems. For quadratic objectives, the method enjoys a linear rate of convergence which provably \emph{improves} with the data size, requiring an essentially constant number of iterations under reasonable assumptions. We provide theoretical and empirical evidence of the advantages of our method compared to other approaches, such as one-shot parameter averaging and ADMM.

研究の動機と目的

• 分散機械学習における高い通信コストを低減するため、通信ラウンド数を最小限に抑えつつ高速な収束を維持する手法の設計を目的とする。
• 確率的最適化問題において部分的な解に終わるワンショットパラメータ平均化の限界を克服することを目的とする。
• 勾配ベース手法に一般的に見られる条件数に多項式的に依存するのを避けるように、データサイズに応じてスケーリングが良好に働く分散アルゴリズムの開発を目的とする。
• 各マシンのデータサイズが増加するに従い収束速度が向上することを理論的に保証することを目的とする。
• 合成的二次関数および実世界の非二次関数学習問題の両方において、手法の実証的妥当性を検証することを目的とする。

提案手法

• 本手法は、複数のマシン間での局所的目的関数の統計的類似性を活用した分散近似ニュートン型更新を採用する。
• 各イテレーションにおいて、各マシンが自らのデータを用いて局所的ニュートン型更新を計算し、その後に更新方向のグローバル平均化を実行する。
• 収束性と安定性のバランスを図るため、正則化パラメータ μ とステップサイズ η を導入し、有利な状況では η=1、μ=0 が最適となる。
• 1イテレーションあたり2回の通信ラウンドを実行する：1回目は勾配の平均化、2回目は更新方向の平均化。これにより、標準的な ADMM よりも高速な収束を実現する。
• 本手法は、マシンあたりのサンプル数が増加するにつれて収束速度が向上する線形収束を達成するように設計されている。
• 理論的分析により、二次的目的関数において、データサイズが増加するに従い収束速度が向上し、妥当な仮定のもとで定数回の反復で収束することが示された。

実験結果

リサーチクエスチョン

• RQ1 分散最適化手法が、データサイズが増加するにつれて収束速度が向上する線形収束を達成できるか？
• RQ2 DANE の通信効率および解の品質は、ワンショットパラメータ平均化、ADMM、勾配降下法と比べてどのように異なるか？
• RQ3 正則化パラメータ μ とステップサイズ η が収束性および安定性に与える影響は何か？
• RQ4 マシンあたりのデータ量が小さく、多数のマシンに分散された状況でも、本手法は高速な収束を維持できるか？
• RQ5 正則化損失最小化のような非二次的、実世界の学習問題に対しても、本手法は効果的に適用可能か？

主な発見

• DANE は、マシンあたりのサンプル数が増加するにつれて収束速度が向上する線形収束を達成し、妥当な仮定のもとで定数回の反復で収束する。
• 合成的二次問題では、ADMM よりも DANE が著しく高速に収束し、データサイズが大きくなると DANE の収束速度は向上するが、ADMM の収束速度は変化しない。
• 実世界のデータセット（COV1、ASTRO-PH、MNIST-47）において、DANE は ADMM よりも同じ精度に到達するための反復回数が少ない。特に、データが多数のマシンに分散されている場合に顕著である。
• マシンあたりのデータが少ない場合、μ=0 の場合 DANE は収束しないことがあるが、μ を 3λ に増加させることで収束性は回復するが、平均収束速度はわずかに低下する。
• ワンショットパラメータ平均化はテスト損失において顕著に劣った解に収束するが、DANE と ADMM は最適な経験的リスク最小化解に収束する。
• 実験的結果により、複数のデータセットにおいて DANE が ADMM やワンショット平均化を上回り、収束速度および最終的なテスト精度の両面で優れた性能を発揮することが示された。