[論文レビュー] Network Newton-Part II: Convergence Rate and Implementation

Aryan Mokhtari, Qing Ling+1 more|arXiv (Cornell University)|Apr 23, 2015

Distributed Control Multi-Agent Systems参考文献 20被引用数 26

ひとこと要約

本稿では、逆ヘッセ行列のテイラー展開をK項に截断することでニュートンステップを近似する、分散型最適化手法であるNetwork Newton- K（NN- K）を提案する。NN- Kは、Kが増加するにつれて増大する区間内で二次収束を達成できることを確立しており、特に悪条件問題において分散勾配降下法（DGD）よりも高速な収束を実現する。

ABSTRACT

The use of network Newton methods for the decentralized optimization of a sum cost distributed through agents of a network is considered. Network Newton methods reinterpret distributed gradient descent as a penalty method, observe that the corresponding Hessian is sparse, and approximate the Newton step by truncating a Taylor expansion of the inverse Hessian. Truncating the series at $K$ terms yields the NN-$K$ that requires aggregating information from $K$ hops away. Network Newton is introduced and shown to converge to the solution of the penalized objective function at a rate that is at least linear in a companion paper [3]. The contributions of this work are: (i) To complement the convergence analysis by studying the methods' rate of convergence. (ii) To introduce adaptive formulations that converge to the optimal argument of the original objective. (iii) To perform numerical evaluations of NN-$K$ methods. The convergence analysis relates the behavior of NN-$K$ with the behavior of (regular) Newton's method and shows that the method goes through a quadratic convergence phase in a specific interval. The length of this quadratic phase grows with $K$ and can be made arbitrarily large. The numerical experiments corroborate reductions in the number of iterations and the communication cost that are necessary to achieve convergence relative to distributed gradient descent.

研究の動機と目的

• NN- Kの収束速度を特定し、特に標準ニュートン法と類似した二次収束フェーズが存在するかを同定すること。
• 元の目的関数の正確な最適解に収束するように設計された、適応的変種（ANN- K）を構築し、NN- Kがペナルティ付き問題に収束するという劣化を是正すること。
• NN- KとANN- Kの性能を数値的に評価し、反復回数および通信コストの観点から分散勾配降下法（DGD）と比較すること。
• 截断次数Kを増加させることで、二次収束フェーズの長さが拡大し、収束がより速くなることを示すこと。
• ANN- Kにおけるペナルティ係数の設定に関する実用的知見を提供すること。

提案手法

• NN- Kは、ネットワーク構造に起因するヘッセ行列のスパarsityを活用し、逆ヘッセ行列のテイラー展開をK項に截断することでニュートンステップを近似する。
• Kホップ以内の近隣ノードからの情報を集約することで、分散的に近似ヘッセ逆行列を計算し、分散実装を可能にする。
• 収束解析により、NN- Kの反復点における重み付き勾配ノルムが、標準ニュートン法と類似した経路をたどることを示し、ヘッセ逆行列の近似誤差を捉える剰余項が存在する。
• 特定の区間内で二次収束フェーズが存在することを証明し、その区間長はKが増加するにつれて増大し、Kが大きくなるにつれて任意に長くできる。
• 元の目的関数の正確な最適解に収束するように、逐次的に増加するペナルティ係数の系列を用いる適応的バージョンであるANN- Kを導入する。
• ヘッセ行列の性質、勾配ノルム、行列ノルムを用いて理論的境界を導出し、ρ、ε、λなどの項を含む再帰的不等式を用いて収束速度を解析する。

実験結果

リサーチクエスチョン

• RQ1 NN- Kの収束速度は何か？ また、標準ニュートン法と類似した二次収束フェーズを示すか？
• RQ2 NN- Kにおける二次収束フェーズの長さは、截断次数Kにどのように依存するか？
• RQ3 NN- Kがペナルティ付き目的関数に収束するという劣化を是正し、元の問題の正確な最適解に収束させることは可能か？
• RQ4 悪条件問題において、NN- KとANN- Kは反復回数および通信コストの観点からDGDに比べてどのように差をつけるか？
• RQ5 ANN- Kにおけるペナルティ係数の最適設定およびその増加レートは、収束速度と精度のバランスを取るためにどのように選ぶべきか？

主な発見

• NN- Kは、Kが増加するにつれて長くなる二次収束フェーズを達成でき、Kを大きくすることでその区間を任意に長くできる。
• NN- Kの収束速度は少なくとも線形であるが、顕著な区間でより速い二次収束フェーズに移行するため、DGDに比べて優れた性能を示す。
• 数値実験により、NN- Kは反復回数および通信コストの両面でDGDを上回ることが示された。特に悪条件問題において顕著である。
• 通信コストの観点では、K=1およびK=2のNN- Kが最も優れた性能を示しており、収束速度と1反復あたりの通信負荷のトレードオフが顕在化している。
• ANN- Kは、ペナルティ係数を段階的に増加させることで、元の目的関数の正確な最適解に収束することに成功した。
• ANN- Kの性能は、初期ペナルティ係数の選定およびその増加レートに敏感であり、数値結果により収束速度と精度のトレードオフが明確に示された。