[論文レビュー] Distributed Algorithms for Composite Optimization: Unified and Tight Convergence Analysis.

Jinming Xu, Ye Tian+2 more|arXiv (Cornell University)|Feb 25, 2020

Distributed Control Multi-Agent Systems被引用数 21

ひとこと要約

本稿では、滑らかでない凸関数を組み合わせたネットワーク上での複合最適化のための統一的で分散型のアルゴリズムフレームワークを提案する。オペレータ分割を用いて滑らかでない凸関数を統合し、強い凸性を持つ問題では線形収束を達成し、局所関数とネットワークトポロジーの影響が完全に分離された依存関係を実現する。凸問題では、収束係数が局所関数とネットワーク構造に分離され、通信と計算のトレードオフがネットワーク接続性に依存せず調整可能である。本稿は、これらのすべての性質を同時に満たす最初のフレームワークを提供する。

ABSTRACT

We study distributed composite optimization over networks: agents minimize a sum of smooth (strongly) convex functions, the agents' sum-utility, plus a nonsmooth (extended-valued) convex one. We propose a general unified algorithmic framework for such a class of problems and provide a unified convergence analysis leveraging the theory of operator splitting. Distinguishing features of our scheme are: (i) When the agents' functions are strongly convex, the algorithm converges at a linear rate, whose dependence on the agents' functions and network topology is decoupled, matching the typical rates of centralized optimization; the rate expression improves on existing results; (ii) When the objective function is convex (but not strongly convex), similar separation as in (i) is established for the coefficient of the proved sublinear rate; (iii) The algorithm can adjust the ratio between the number of communications and computations to achieve a rate (in terms of computations) independent on the network connectivity; and (iv) A by-product of our analysis is a tuning recommendation for several existing (non accelerated) distributed algorithms yielding the fastest provably (worst-case) convergence rate. This is the first time that a general distributed algorithmic framework applicable to composite optimization enjoys all such properties.

研究の動機と目的

• ネットワーク上での分散型複合最適化のための一般的かつ統一的なアルゴリズムフレームワークの開発。
• 局所関数とネットワークトポロジーの影響を分離した、収束レートのタイトな達成。
• 収束レートに悪影響を及げることなく、通信と計算の間のトレードオフを調整可能にする。
• 既存の非加速分散アルゴリズムに対する、証明可能な最適なチューニングの提供。
• 強い凸性と凸性の両設定において、収束解析を統一的かつ改善する。

提案手法

• フレームワークは、オペレータ分割理論を活用して、分散型複合最適化問題の解析を統一する。
• エージェントの和利得を、滑らか（強く）凸関数の和と、非滑らかで拡張値をとる凸関数の和としてモデル化する。
• アルゴリズムは、オペレータ分割から導かれたプライマル・ダウアルアプローチを用い、複合構造を処理する。
• 収束レートの分析には、単調作用素理論と固定点反復の理論的道具が用いられる。
• 最悪ケースの収束レートに影響を与えることなく、通信対計算比の動的調整が可能である。
• 既存の非加速アルゴリズムのチューニングの推奨事項は、解析の副産物として得られる。

実験結果

リサーチクエスチョン

• RQ1 単一の分散型アルゴリズムフレームワークが、局所関数とネットワークトポロジーの影響を分離した、強い凸性を持つ複合問題に対して線形収束を達成できるか？
• RQ2 強い凸性を満たさない凸問題の収束レートが、局所関数とネットワーク構造の成分に分離可能か？
• RQ3 通信対計算の比率を、最悪ケースの収束レートを劣化させることなく調整可能か？
• RQ4 提案された解析が、既存の非加速分散アルゴリズムの改善されたチューニングルールを導けるか？
• RQ5 このフレームワークは、凸性と強い凸性の両設定において、既存の収束結果を統一的かつ改善できるか？

主な発見

• 強い凸性を持つ問題に対して、局所関数とネットワークトポロジーの依存関係が完全に分離された線形収束を達成する。
• 強い凸性問題のレート式は、タイトさと分離性の観点で、既存の結果を改善している。
• 凸問題では、収束係数が局所関数とネットワーク構造の成分に明確に分離される。
• 通信と計算のトレードオフが可能であり、計算量を基準とした収束レートがネットワーク接続性に依存しない。
• 解析により、いくつかの既存の非加速分散アルゴリズムのチューニング推奨事項が得られ、証明可能な最悪ケース収束レートが達成される。
• 本稿は、4つの主要な性質を同時に達成する最初のフレームワークである：分離可能な収束レート、調整可能な通信-計算比、タイトな収束境界、および凸・強い凸両設定における統一的かつ改善された解析。