[論文レビュー] Distributed Adaptive Newton Methods with Globally Superlinear Convergence

Jiaqi Zhang, Keyou You+1 more|arXiv (Cornell University)|Feb 18, 2020

Sparse and Compressive Sensing Techniques参考文献 48被引用数 11

ひとこと要約

本稿では、ネットワーク上の分散最適化のための分散適応ニュートン法（DAN）と、通信効率を高めた変種であるDAN-LAを提案する。有限時間集合一致手法とポリャクの適応ニュートン法を統合し、低ランクヘシアン近似を用いることで、DANとDAN-LAはそれぞれグローバルに超線形的および2次収束率を達成する。通信量は1反復あたりO(p)にまで削減され、1次元手法と同等の通信コストを維持しながら、収束速度でそれを上回る。

ABSTRACT

This paper considers the distributed optimization problem over a network where the global objective is to optimize a sum of local functions using only local computation and communication. Since the existing algorithms either adopt a linear consensus mechanism, which converges at best linearly, or assume that each node starts sufficiently close to an optimal solution, they cannot achieve globally superlinear convergence. To break through the linear consensus rate, we propose a finite-time set-consensus method, and then incorporate it into Polyak's adaptive Newton method, leading to our distributed adaptive Newton algorithm (DAN). To avoid transmitting local Hessians, we adopt a low-rank approximation idea to compress the Hessian and design a communication-efficient DAN-LA. Then, the size of transmitted messages in DAN-LA is reduced to $O(p)$ per iteration, where $p$ is the dimension of decision vectors and is the same as the first-order methods. We show that DAN and DAN-LA can globally achieve quadratic and superlinear convergence rates, respectively. Numerical experiments on logistic regression problems are finally conducted to show the advantages over existing methods.

研究の動機と目的

• 従来の線形一致メカニズムに依存する分散アルゴリズムの線形収束の制限を克服すること。
• 最適解に近い初期化を必要とせずに、分散最適化でグローバルに超線形収束を達成すること。
• ヘシアン伝送における通信オーバーヘッドを低減しつつ、高速な収束速度を維持すること。
• 大規模分散システムに適した通信効率の高い適応ニュートン法の変種を設計すること。

提案手法

• 従来の線形一致を置き換える有限時間集合一致手法を提案し、ノード間の合意形成を高速化する。
• 有限時間集合一致手法をポリャクの適応ニュートン法と統合し、分散適応ニュートン（DAN）アルゴリズムを構築する。
• 局所ヘシアン行列を低ランク近似で圧縮し、1反復あたりの通信コストをO(p)に削減する。
• DANの通信効率を高めたバージョン、DAN-LAを設計し、最小限のメッセージサイズで超線形収束を維持する。
• 局所関数値とヘシアン近似に基づく適応ステップサイズを用いて収束を加速する。
• ネットワーク全体で関数値およびヘシアン近似の一致を維持することで、グローバル収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 初期化が最適解に近い必要がない分散最適化アルゴリズムが、グローバルに超線形収束を達成できるか？
• RQ2 有限時間集合一致が線形一致に代わることで、分散ニュートン法における線形収束の壁を打ち破れるか？
• RQ3 ヘシアン情報を1反復あたりO(p)のサイズに圧縮できるか、収束速度を損なわずに実現可能か？
• RQ4 提案手法は、1次元および既存の2次元分散手法と比較して、収束速度と通信コストの点でどのように差をつけるか？

主な発見

• DANはグローバルに2次収束を達成し、線形収束する1次元および2次元手法を著しく上回る。
• DAN-LAはメッセージサイズを1反復あたりO(p)にまで削減しながら、グローバルに超線形収束を達成し、1次元手法と同等の通信コストを実現する。
• 有限時間集合一致メカニズムにより、従来の線形一致と比較してノード間の合意形成が高速化され、収束が加速される。
• ロジスティック回帰における数値実験では、DANおよびDAN-LAが既存の分散手法よりも早期反復で高速に収束することが示された。
• 低ランクヘシアン近似により、収束速度を維持しながら通信オーバーヘッドを著しく削減でき、スケーラビリティが向上する。