[論文レビュー] On Nonconvex Decentralized Gradient Descent

Jinshan Zeng, Wotao Yin|arXiv (Cornell University)|Aug 20, 2016

Distributed Control Multi-Agent Systems参考文献 54被引用数 11

ひとこと要約

本稿は、非凸コアリション最適化設定における分散型勾配降下法（DGD）およびプロキシマルDGD（Prox-DGD）の収束保証を確立する。減少するステップサイズのもとで、DGDは元の問題の停留点へサブ線形レートで収束することを証明する。一方、Prox-DGDはプロキシマル作用素を用いて非凸で非滑らか関数へ拡張し、新規な非凸解析技術を用いて緩い仮定のもとで収束を維持する。

ABSTRACT

Consensus optimization has received considerable attention in recent years. A number of decentralized algorithms have been proposed for {convex} consensus optimization. However, to the behaviors or consensus \emph{nonconvex} optimization, our understanding is more limited. When we lose convexity, we cannot hope our algorithms always return global solutions though they sometimes still do sometimes. Somewhat surprisingly, the decentralized consensus algorithms, DGD and Prox-DGD, retain most other properties that are known in the convex setting. In particular, when diminishing (or constant) step sizes are used, we can prove convergence to a (or a neighborhood of) consensus stationary solution under some regular assumptions. It is worth noting that Prox-DGD can handle nonconvex nonsmooth functions if their proximal operators can be computed. Such functions include SCAD and $\ell_q$ quasi-norms, $q\in[0,1)$. Similarly, Prox-DGD can take the constraint to a nonconvex set with an easy projection. To establish these properties, we have to introduce a completely different line of analysis, as well as modify existing proofs that were used the convex setting.

研究の動機と目的

• 分散型勾配降下法（DGD）の収束理論を凸から非凸コアリション最適化問題へ拡張すること。
• 固定ステップサイズおよび減少ステップサイズの下で、非凸設定におけるDGDおよびProx-DGDの挙動を分析すること。
• 非凸状況下でグローバル最適性を失っても、元の問題の停留点への収束を確立すること。
• プロキシマル作用素を用いて非凸的かつ非滑らか関数（SCAD、MCP、ℓq準ノルムを含む）を扱えるようにフレームワークを拡張すること。
• 凸の場合とは異なる、非凸分散最適化に特化した新規な解析ツールを開発すること。

提案手法

• 固定ステップサイズ下でのDGD収束を解析するため、リャプノフ関数に基づく手法を提案し、リャプノフ関数の停留点へ収束することを示す。
• ステップサイズを αk = O(1/(k+1)^ε)（ε ∈ (0,1]）として減少させるように設定し、漸近的コアリションおよび元の問題の停留点への収束を保証する。
• 微分可能関数とプロキシマブル（おそらく非凸）関数の和からなる問題に対して、Prox-DGDを導入し、非滑らかまたは非凸正則化のためのプロキシマル作用素を活用する。
• 修正された降下補題を適用し、勾配のリプシッツ連続性およびプロキシマル写像の性質を用いて、連続する反復間の差を推定する。
• 局所的推定とグローバル平均との間のコアリション誤差の境界を導出し、ステップサイズに比例し、混合行列のスペクトルギャップに反比例することを示す。
• 凸解析とは異なる、非凸設定に適応した新規な解析フレームワークを採用し、降下補題やプロキシマル作用素の性質を非凸状況へ拡張する。

実験結果

リサーチクエスチョン

• RQ1 減少ステップサイズのもとで、DGDは元の非凸問題の停留点へ収束するか？
• RQ2 非凸DGDにおいて、局所エージェント間のコアリション誤差はステップサイズおよびネットワークトポロジーにどのように依存するか？
• RQ3 Prox-DGDは、ℓq準ノルム（q ∈ [0,1)）やSCAD/MCPペナルティなどの非凸的かつ非滑らか関数を処理できるか？
• RQ4 減少ステップサイズを用いた非凸分散設定下でのDGDおよびProx-DGDの収束速度は何か？
• RQ5 既存の凸収束証明は、非凸分散アルゴリズムに適用可能となるように、どのように適合または再構築できるか？

主な発見

• 適切にバインドされた固定ステップサイズ α を用いる場合、DGD反復はリャプノフ関数の停留点へ収束し、局所的推定とグローバル平均との間のコアリション誤差は O(α) で有界である。
• 減少ステップサイズ αk = O(1/(k+1)^ε)（ε ∈ (0,1]）のもとで、DGDは漸近的コアリションを達成し、元の非凸問題の停留点へサブ線形レートで収束する。
• Prox-DGDでは、微分可能部 f_i とプロキシマブル部 r_i が非凸であっても、r_i のプロキシマル作用素が計算可能であれば、停留点への収束が保証される。
• 凸ケースにおける目的関数誤差の収束速度は、αk = 1/√k のとき O(ln k / k) であり、ネステロフ加速を用いたネストドループを用いれば O(1/k²) に向上する。
• f_i と r_i が凸である場合、Prox-DGDはより大きな固定ステップサイズを許容し、修正された降下補題（プロキシマル作用素を含む）を用いて収束が保証される。
• 本解析は、凸設定とは異なる新たな証明アプローチを導入し、特にコアリション誤差と非凸リャプノフ関数の挙動の取り扱いに特化している。