[論文レビュー] DINGO: Distributed Newton-Type Method for Gradient-Norm Optimization

Rixon Crane, Fred Roosta|arXiv (Cornell University)|Jan 16, 2019

Sparse and Compressive Sensing Techniques参考文献 27被引用数 20

ひとこと要約

DINGO は、単純な線形最小二乗問題の部分問題を解くことで勾配ノルムを最小化する、通信効率が高く、分散型ニュートン型最適化アルゴリズムである。ハイパーパramータの選択にかかわらず、勾配ノルムの保証された減少を伴うグローバル収束を達成し、任意のデータ分布を持つ多様な非凸問題において、一階および他の二階手法よりも通信効率と安定性に優れる。

ABSTRACT

For optimization of a sum of functions in a distributed computing environment, we present a novel communication efficient Newton-type algorithm that enjoys a variety of advantages over similar existing methods. Similar to Newton-MR, our algorithm, DINGO, is derived by optimization of the gradient's norm as a surrogate function. DINGO does not impose any specific form on the underlying functions, and its application range extends far beyond convexity. In addition, the distribution of the data across the computing environment can be arbitrary. Further, the underlying sub-problems of DINGO are simple linear least-squares, for which a plethora of efficient algorithms exist. Lastly, DINGO involves a few hyper-parameters that are easy to tune. Moreover, we theoretically show that DINGO is not sensitive to the choice of its hyper-parameters in that a strict reduction in the gradient norm is guaranteed, regardless of the selected hyper-parameters. We demonstrate empirical evidence of the effectiveness, stability and versatility of our method compared to other relevant algorithms.

研究の動機と目的

• 大規模な機械学習および科学計算における通信オーバーヘッドを低減する分散最適化アルゴリズムの開発。
• 特定の関数形を必要とせずに、非凸的かつ非構造的な問題へと二階最適化を拡張すること。
• 分散環境において、ハイパーパramータの感度が最小限に抑えられた頑健な収束を保証すること。
• 通信ラウンド数を最小限に抑えることで、分散計算リソースを効率的に活用すること。
• 単純な線形最小二乗問題に基づく、実装可能な実用的手法の提供。

提案手法

• DINGO は最適化を勾配ノルムの最小化として定式化し、探索方向を誘導するための代理目的関数を用いる。
• 各反復で線形最小二乗問題を解くことで探索方向を計算する分散不正確ニュートン法を採用する。
• ステップサイズ選択にはバックトラッキングラインサーチを用い、勾配ノルムの十分な減少を保証する。
• ワーカーノードと中央ドライバ間でのみ勾配およびヘッセ関連情報の交換を行うことで、通信を最小限に抑える。
• 厳密な勾配ノルムの減少が、ハイパーパramータの値に関わらず保証されるように設計されており、頑健性を有する。
• ワーカー間での任意のデータ分割をサポートし、凸性や滑らかさは標準的な微分可能性を超えて必要としない。

実験結果

リサーチクエスチョン

• RQ1 通信効率が高く、凸問題を超える応用が可能な分散型二階最適化手法を設計できるか？
• RQ2 通信を最小限に抑える分散環境において、ヘッセ行列の近似を効率的に計算する方法は何か？
• RQ3 勾配ノルム最小化に基づくニュートン型手法は、ハイパーパramータの感度が最小限であり、グローバル収束を保証するか？
• RQ4 DINGO は、通信効率および収束速度の観点で、一階手法および他の二階手法と比べてどのように差をつけるか？
• RQ5 DINGO は、ネットワーク遅延が異なる多様な分散計算環境において、効果的にスケーリング可能か？

主な発見

• AWS 上で DINGO は1時間に12ラウンドを完了し、単一ノードの8ラウンドから50％の向上を示し、分散環境での効果的なスケーリングを実証した。
• Sync-SGD と比較して、AWS 上で DINGO は通信コストを80％以上削減し、はるかに少ないラウンド数で完了しながらも、勾配ノルムの収束が速かった。
• GIANT や DiSCO、InexactDANE、AIDE と比較して、DINGO は通信ラウンド数が少ないにもかかわらず、勾配ノルムの低下が速かった。
• 実験的結果から、CIFAR10 や EMNIST といった複数のデータセットおよびソフトマックス回帰などの問題タイプにおいて、DINGO は安定的かつ高速な収束を維持することが示された。
• ハイパーパramータの選択に対して DINGO の性能は頑健である：線形探索パramータ θ の異なる値でも同様の目的関数収束を示したが、θ=10⁻⁴ が最も速い勾配ノルムの低下を達成した。
• 非凸設定においても、DINGO はすべてのベースラインを上回り、ハイパーパramータチューニングに依存しない保証された収束を達成した。