[論文レビュー] On Convergence of Distributed Approximate Newton Methods: Globalization, Sharper Bounds and Beyond

Xiao–Tong Yuan, Ping Li|arXiv (Cornell University)|Aug 6, 2019

Advanced Optimization Algorithms Research被引用数 14

ひとこと要約

本稿では、二次関数および非二次関数の強い凸関数において、グローバル収束と鋭い局所収束レートを達成するため、DANEアルゴリズムの改善版—バックトラッキングラインサーチを用いたDANEおよびDANE-HB（Heavy-Ball）—を提案する。線形モデルにおいてグローバル収束とほぼタイトな局所収束レートを確立し、リャプノフ解析を用いて通信および計算複雑性の上限を改善する。

ABSTRACT

The DANE algorithm is an approximate Newton method popularly used for communication-efficient distributed machine learning. Reasons for the interest in DANE include scalability and versatility. Convergence of DANE, however, can be tricky; its appealing convergence rate is only rigorous for quadratic objective, and for more general convex functions the known results are no stronger than those of the classic first-order methods. To remedy these drawbacks, we propose in this paper some new alternatives of DANE which are more suitable for analysis. We first introduce a simple variant of DANE equipped with backtracking line search, for which global asymptotic convergence and sharper local non-asymptotic convergence rate guarantees can be proved for both quadratic and non-quadratic strongly convex functions. Then we propose a heavy-ball method to accelerate the convergence of DANE, showing that nearly tight local rate of convergence can be established for strongly convex functions, and with proper modification of algorithm the same result applies globally to linear prediction models. Numerical evidence is provided to confirm the theoretical and practical advantages of our methods.

研究の動機と目的

• 標準DANEが非二次的目的関数に対してグローバル収束が保証されておらず、局所収束の保証が弱いという問題に対処すること。
• 正当なグローバル漸近的収束と、よりタイトな局所非漸近的収束レートを有する新たなDANE変種の開発。
• Heavy-Ball加速を用いて線形予測モデルへの収束保証を拡張すること。
• 分散近似ニュートン法における収束解析のための統一的リャプノフベースのフレームワークの構築。
• アルゴリズム的改良を通じて、通信および計算複雑性の上限を改善すること。

提案手法

• グローバル収束を保証し、局所収束レートを向上させるために、DANEのバックトラッキングラインサーチ変種を導入。
• 強凸関数に対してほぼタイトな局所収束レートを達成する、Heavy-Ball加速を施したDANE変種であるDANE-HBを提案。
• 収束の証明にリャプノフ関数フレームワークを用い、鋭い境界と統一的解析を可能にする。
• 部分問題の局所ソルバーとしてSVRGを採用し、IFO複雑性を計算メトリクスとして用いる。
• 二次的目的関数に対して、通信複雑性の上限を $\mathcal{O}\left(\frac{\sqrt{\kappa}}{n^{1/4}}\log\left(\frac{1}{\epsilon}\right)\right)$ として導出。
• アルゴリズム的構造を調整することで、DANE-HBを線形モデルに適用し、グローバル収束を達成する。

実験結果

リサーチクエスチョン

• RQ1 非二次的強い凸関数に対して、DANEを変更することでグローバル収束を達成できるか？
• RQ2 分散環境下における近似ニュートン法が達成可能な、最も鋭い局所非漸近的収束レートは何か？
• RQ3 Heavy-Ball加速をDANEに効果的に統合することで、収束速度を向上させられるか？
• RQ4 新規DANE変種の通信および計算複雑性は、SVRGなどの一次元法と比較してどうなるか？
• RQ5 提案手法は、線形モデルを含むさまざまなモデルクラスにおいても収束保証を維持できるか？

主な発見

• 提案されたバックトラッキングDANE変種は、二次的および非二次的強い凸関数の両方において、グローバル漸近的収束と鋭い局所非漸近的収束レートを達成する。
• DANE-HBは、強い凸関数に対してほぼタイトな局所収束レートを達成し、既知の下界と理論的に一致する保証を持つ。
• 適切な修正を施すことで、DANE-HBは線形予測モデルに対してもグローバル収束を保証し、二次的ケースを超えた適用範囲を拡張する。
• DANE-HBの通信複雑性は $\mathcal{O}\left(\frac{\sqrt{\kappa}}{n^{1/4}}\log\left(\frac{1}{\epsilon}\right)\right)$ であり、標準DANEを上回り、ほぼタイトな境界に一致する。
• DANE-HBのIFO複雑性は $\mathcal{O}\left(\sqrt{\kappa}\left(n^{3/4}+n^{1/4}\right)\log^{2}\left(\frac{1}{\epsilon}\right)\right)$ であり、大規模設定ではSVRGに比べ最大で $m^{3/4}$ の計算コスト削減が可能である。
• 数値実験の結果、理論的利点が実際の収束速度の向上および通信効率の向上として確認された。