[論文レビュー] Network Newton-Part I: Algorithm and Convergence

Aryan Mokhtari, Qing Ling+1 more|arXiv (Cornell University)|Apr 23, 2015

Distributed Control Multi-Agent Systems参考文献 28被引用数 25

ひとこと要約

本稿では、ヘッセ行列の逆行列のテイラー展開を切り詰めて近似することで、多エージェントネットワークにおける収束を加速する分散最適化アルゴリズムである Network Newton (NN) を提案する。この手法、通称 NN-K（Kホップ近傍集約を用いる）は、収束速度と最適解への近さのバランスを取った少なくとも線形収束率を達成する。

ABSTRACT

We study the problem of minimizing a sum of convex objective functions where the components of the objective are available at different nodes of a network and nodes are allowed to only communicate with their neighbors. The use of distributed gradient methods is a common approach to solve this problem. Their popularity notwithstanding, these methods exhibit slow convergence and a consequent large number of communications between nodes to approach the optimal argument because they rely on first order information only. This paper proposes the network Newton (NN) method as a distributed algorithm that incorporates second order information. This is done via distributed implementation of approximations of a suitably chosen Newton step. The approximations are obtained by truncation of the Newton step's Taylor expansion. This leads to a family of methods defined by the number $K$ of Taylor series terms kept in the approximation. When keeping $K$ terms of the Taylor series, the method is called NN-$K$ and can be implemented through the aggregation of information in $K$-hop neighborhoods. Convergence to a point close to the optimal argument at a rate that is at least linear is proven and the existence of a tradeoff between convergence time and the distance to the optimal argument is shown. Convergence rate, several practical implementation matters, and numerical analyses are presented in a companion paper [3].

研究の動機と目的

• 条件数が悪い問題において、分散的1次最適化手法（例：分散型勾配降下法：DGD）の収束が遅いという問題に対処する。
• グローバル通信が必要なため、分散ネットワークでは正確なニュートンステップが現実的でないという点を克服する。
• 局所情報と K ホップ近傍集約を用いて、スケーラブルで分散的なニュートンステップの近似を開発する。
• 強い凸性と2回微分可能という仮定の下で、提案手法の理論的収束保証を確立する。
• 分散最適化設定における収束速度と最終的精度のトレードオフを実証する。

提案手法

• DGD を元の最適化問題の罰則付き版を解くものとして再解釈することで、最適解の近傍に収束する理由を説明する。
• ヘッセ行列の逆行列のテイラー級数展開を切り詰める手法により、ニュートンステップを近似する分散的2次最適化手法である Network Newton (NN) を提案する。
• NN-K を、テイラー展開の K 項を保持するアルゴリズム族として定義し、K ホップ近傍情報の集約によって実装可能であるようにする。
• ネットワークグラフに一致するヘッセ行列のスパarsity構造を活用して、局所的な計算と通信を保証する。
• 各反復で目的関数の十分な減少を保証するステップサイズルールを用いたバックトラッキングラインサーチを採用する。
• 目的関数誤差が少なくとも線形の速度でゼロに収束することを証明し、収束速度は単調に増加する列 βt によって制御される。

実験結果

リサーチクエスチョン

• RQ1 グローバル通信を要しない分散ネットワーク環境において、2次情報が効果的かつ効率的に近似可能か。
• RQ2 ヘッセ行列の逆行列のテイラー展開を切り詰めた場合、分散ニュートンに類する手法の収束挙動はいかなるものか。
• RQ3 テイラー近似における項数 K が収束速度と最終的精度のトレードオフに与える影響は何か。
• RQ4 強い凸性と滑らかさの仮定のもとで、提案手法が分散最適化において線形収束率を達成できるか。
• RQ5 分散ニュートンフレームワークにおいて、最適化列の安定性と単調な改善を保証する条件は何か。

主な発見

• Network Newton (NN-K) 法は、少なくとも線形収束率を達成し、目的関数誤差が (1−β₀)^t のように減少する。ここで β₀ > 0 である。
• 収束速度は β₀ によって制御され、強い凸性やリプシッツ的ヘッセ定数といった問題パラメータに依存する正の定数である。
• 列 βt は厳密に増加し、上界が 1 であるため、反復ごとに目的関数誤差が幾何的に減少することが保証される。
• 収束速度と最終的精度のトレードオフが存在する：K を増やすことで収束速度は向上するが、近似の切り捨てにより最終誤差が増加する可能性がある。
• 局所的およびグローバルなコスト関数の2回微分可能かつ強い凸性という仮定のもとで、本手法は証明可能な収束性を有する。
• 収束証明は、目的関数誤差と列 βt を含む再帰的不等式に依拠しており、βt が正で単調増加であることが示され、これにより線形収束が保証される。