[論文レビュー] DAve-QN: A Distributed Averaged Quasi-Newton Method with Local Superlinear Convergence Rate

Saeed Soori, Konstantin Mischenko+3 more|arXiv (Cornell University)|Jun 3, 2019

Stochastic Gradient Optimization Techniques参考文献 46被引用数 14

ひとこと要約

本稿では、マスターワーカー型アーキテクチャ下での経験的リスク最小化に対して、超線形収束を達成する初の分散非同期準ニュートン法であるDAve-QNを提案する。局所ヘッセ行列の近似を勾配平均を用いて行い、通信効率の高い$O(p)$ベクトル交換を実現することで、小さなステップサイズを必要とせず、大きな遅延下でも超線形収束を達成し、実験において最先端の手法を上回る性能を発揮する。

ABSTRACT

In this paper, we consider distributed algorithms for solving the empirical risk minimization problem under the master/worker communication model. We develop a distributed asynchronous quasi-Newton algorithm that can achieve superlinear convergence. To our knowledge, this is the first distributed asynchronous algorithm with superlinear convergence guarantees. Our algorithm is communication-efficient in the sense that at every iteration the master node and workers communicate vectors of size $O(p)$, where $p$ is the dimension of the decision variable. The proposed method is based on a distributed asynchronous averaging scheme of decision vectors and gradients in a way to effectively capture the local Hessian information of the objective function. Our convergence theory supports asynchronous computations subject to both bounded delays and unbounded delays with a bounded time-average. Unlike in the majority of asynchronous optimization literature, we do not require choosing smaller stepsize when delays are huge. We provide numerical experiments that match our theoretical results and showcase significant improvement comparing to state-of-the-art distributed algorithms.

研究の動機と目的

• マスターワーカーアーキテクチャ下での大規模経験的リスク最小化のための通信効率の高い分散最適化アルゴリズムを開発すること。
• 既存の文献では稀である分散非同期設定において超線形収束を達成すること。
• 小さなステップサイズを必要とせず、上限のある時間平均を持つ非有界遅延に対しても対応できること。
• 各イテレーションあたり$O(p)$の通信コストを維持しながら、勾配平均を用いて局所ヘッセ情報を捉えること。
• 数値実験において、最先端の分散アルゴリズムを著しく上回る性能を示すこと。

提案手法

• アルゴリズムは、ワーカーとマスターノード間で意思決定ベクトルと勾配を統合する分散非同期平均化方式を用いる。
• 勾配差分を用いて各ワーカーの目的関数の局所ヘッセ情報を近似し、準ニュートン更新を可能にする。
• マスターノードはグローバルな反復点を維持し、集約された勾配差分と変数差分に基づいたBFGSに類似した更新則でそれを更新する。
• 通信は各イテレーションあたり$O(p)$サイズのベクトルのみを送信するため、通信効率が保証される。
• 上限のある遅延と非有界遅延（時間平均が有界）の両方をサポートし、ステップサイズの適応を必要としない。
• 初期ステップサイズのチューニングにラインサーチ技術を用い、初期段階での反復複雑度を改善する。

実験結果

リサーチクエスチョン

• RQ1 分散非同期準ニュートン法は、経験的リスク最小化において超線形収束を達成できるか？
• RQ2 非有界遅延（時間平均が有界）下でも、ステップサイズを小さくしなくても超線形収束を維持できるか？
• RQ3 通信効率（各イテレーションあたり$O(p)$）を保ちながら、分散環境で超線形収束を達成できるか？
• RQ4 収束速度と通信コストの観点から、DANE や DAve-RPG といった一次元手法と比較して、本手法はどのように性能を発揮するか？
• RQ5 局所サンプルサイズ$m_i$が収束性と通信複雑度に与える影響は何か？

主な発見

• DAve-QNは、分散非同期設定において初めて超線形収束を達成し、線形収束する一次元手法を上回る。
• 上限のある遅延と非有界遅延（時間平均が有界）の両方において、超線形収束を維持し、高遅延下でもステップサイズを小さくする必要がない。
• 数値実験では、cifar10を除き、すべてのデータセットでDANEやDAve-RPGを著しく上回る性能を示した。cifar10では、初期段階の進捗は速いが、各イテレーションのコストが高いため、全体として遅延が生じた。
• mnist8mおよびepsilonデータセットでは、DAve-QNがDANEやDAve-RPGよりも速く収束し、理論的な超線形レートの有効性を裏付けた。
• 各イテレーションあたり$O(p^2)$の計算コストは、特に悪条件問題において、より速い収束によって相殺される。
• コードはGitHubで公開されており、再現性とさらなるベンチマークが可能である。