[論文レビュー] Distributed Inexact Successive Convex Approximation ADMM: Analysis-Part I

Sandeep Kumar, Ketan Rajawat+1 more|arXiv (Cornell University)|Jul 21, 2019

Sparse and Compressive Sensing Techniques参考文献 54被引用数 4

ひとこと要約

本稿では、誤差、遅延、非同期処理の柔軟な取り扱いを可能にする大規模な非凸最適化問題を解く分散型で不正確な逐次凸近似ADMMフレームワーク（DISC-ADMM）を提案する。弱い仮定のもとで一次の収束速度保証を確立し、反復列が総誤差ETやノイズによる不正確な更新からの影響を受けても𝜖-停留点に収束することを示している。ここで𝜖 = O(ET + 1/T) である。

ABSTRACT

In this two-part work, we propose an algorithmic framework for solving non-convex problems whose objective function is the sum of a number of smooth component functions plus a convex (possibly non-smooth) or/and smooth (possibly non-convex) regularization function. The proposed algorithm incorporates ideas from several existing approaches such as alternate direction method of multipliers (ADMM), successive convex approximation (SCA), distributed and asynchronous algorithms, and inexact gradient methods. Different from a number of existing approaches, however, the proposed framework is flexible enough to incorporate a class of non-convex objective functions, allow distributed operation with and without a fusion center, and include variance reduced methods as special cases. Remarkably, the proposed algorithms are robust to uncertainties arising from random, deterministic, and adversarial sources. The part I of the paper develops two variants of the algorithm under very mild assumptions and establishes first-order convergence rate guarantees. The proof developed here allows for generic errors and delays, paving the way for different variance-reduced, asynchronous, and stochastic implementations, outlined and evaluated in part II.

研究の動機と目的

• ビッグデータ応用に生じる大規模非凸最適化問題を対象としたスケーラブルで分散型の最適化フレームワークの開発。
• 通信遅延、不正確な勾配、非同期性といった実用的課題を、分散ネットワーク環境で解決すること。
• ADMM、SCA、不正確勾配法といった既存手法を統合・一般化し、一貫した堅牢なフレームワークに統合すること。
• 任意の誤差系列（確率的、敵対的、決定的）に対しても収束保証を確立すること。
• 中央集権型（融合センターを備える）および分散型（融合センターなし）のネットワークトポロジーの両方での柔軟な展開を可能にすること。

提案手法

• 非凸部を凸の上界関数で近似することで非凸性を扱うために、ADMMスタイルの更新と逐次凸近似（SCA）を組み合わせた。
• 一般化された不正確勾配法（IGM）を用いて不正確な勾配と更新を統合し、反復列における任意の誤差系列を許容する。
• 融合センターを有するか無いかにかかわらず分散実装を可能とし、中央集権型および分散型の両方の動作を可能にする。
• 勾配と更新における誤差を一般化された系列としてモデル化し、収束性は累積誤差ETの観点から分析する。
• 主要な構成要素には、双対変数に対するproximal型の更新と、ノードおよび時間にわたる誤差伝播の構造的モデルが含まれる。
• 理論的分析では、リャプノフ関数と誤差蓄積バウンドを用い、ETとT−1に依存する収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 任意の不正確性（勾配と更新における）が存在する非凸問題に対して、分散型ADMMベースのアルゴリズムが収束を達成できるか？
• RQ2 遅延、更新の欠落、通信ノイズが分散非凸最適化における収束に与える影響は何か？
• RQ3 本フレームワークは、分散化された、確率的、非同期、不正確勾配法を統一的に分析できるか？
• RQ4 合計誤差エネルギーETと反復回数Tの観点から、アルゴリズムの収束速度はどのようになるか？
• RQ5 敵対的、確率的、決定的誤差源の下でも、アルゴリズムは収束保証を維持できるか？

主な発見

• アルゴリズムは、不正確な更新に起因する累積誤差を表すETを用いて、𝜖 = O(ET + 1/T) の𝜖-停留点に一次の収束を達成する。
• 収束速度は、確率的、敵対的、決定的誤差を含む任意の誤差系列に対してロバストであり、不偏性や有界分散の仮定を必要としない。
• フレームワークは非同期および遅延付き更新、さらには更新の欠落に対しても収束保証を損なわずに対応可能である。
• 解析により、部分勾配残差の期待二乗ノルムがO(ET + 1/T) の速度で消えることが示され、誤差蓄積下での停留性が確認された。
• 本手法は、既存の確率的および不正確ADMMの変種を一般化でき、分散化された、または量子化された最適化のための新しいアルゴリズムに特化して得ることも可能である。
• 収束結果は中央集権型および分散型のネットワークアーキテクチャの両方で成り立つため、展開の柔軟性が示された。