[論文レビュー] Robust Decentralized Learning Using ADMM with Unreliable Agents

Qunwei Li, Bhavya Kailkhura+3 more|arXiv (Cornell University)|Oct 14, 2017

Distributed Control Multi-Agent Systems被引用数 11

ひとこと要約

本稿では、信頼できないエージェントが任意の誤差を注入しても最適解への正確な収束を保証する分散学習のためのロバストADMMの変種ROADを提案する。誤差伝播の分析としきい値ベースの誤差低減を導入することで、凸問題においても敵対的またはノイジーな更新下でもO(1/T)の収束レートを達成し、任意の誤差モデル下での収束を統一的に扱うフレームワークを提供する。

ABSTRACT

Many machine learning problems can be formulated as consensus optimization problems which can be solved efficiently via a cooperative multi-agent system. However, the agents in the system can be unreliable due to a variety of reasons: noise, faults and attacks. Providing erroneous updates leads the optimization process in a wrong direction, and degrades the performance of distributed machine learning algorithms. This paper considers the problem of decentralized learning using ADMM in the presence of unreliable agents. First, we rigorously analyze the effect of erroneous updates (in ADMM learning iterations) on the convergence behavior of multi-agent system. We show that the algorithm linearly converges to a neighborhood of the optimal solution under certain conditions and characterize the neighborhood size analytically. Next, we provide guidelines for network design to achieve a faster convergence. We also provide conditions on the erroneous updates for exact convergence to the optimal solution. Finally, to mitigate the influence of unreliable agents, we propose extsf{ROAD}, a robust variant of ADMM, and show its resilience to unreliable agents with an exact convergence to the optimum.

研究の動機と目的

• ノイズ、故障、サイバー攻撃の影響を受ける信頼できないエージェントによる任意の誤差モデルが分散ADMMの収束解析に与える影響を解消するため。
• 従来の制限的な不正確ADMMの仮定を超えて、エージェントが更新に任意の誤差を注入する状況におけるADMM収束の統一的フレームワークを構築するため。
• ADMMが最適解の近傍に線形収束する条件を導出し、正確な収束を可能にする誤差制約を同定するため。
• 信頼できないエージェントの影響を低減し、最適解への正確な収束を保証するロバストADMM変種ROADを設計するため。
• 信頼できない状況下での収束を加速するためのネットワークトポロジーとアルゴリズムパラメータの設計指針を提供するため。

提案手法

• 各信頼できないエージェントが自身の状態 $\mathbf{x}_i^k$ に任意の誤差項 $\mathbf{e}_i^k$ を加える一般誤差モデルを提案し、更新プロセスを汚染する。
• このモデル下でのADMM収束を分析し、ネットワークトポロジー、目的関数の性質、アルゴリズムパラメータを含む条件下で最適解の近傍への線形収束を証明する。
• 残差ノルムに基づくしきい値処理を用いて誤った更新を検出し抑制する、ROAD（ロバストADMM）を導入する。
• 誤差伝播をバインドし収束を確立するために、リャプノフ型エネルギー関数を導出し、行列ノルム $\sigma_{\min}(\mathbf{L}_-)$, $\sigma_{\max}(\mathbf{L}_+)$, および $\|\mathbf{Q}\mathbf{e}^k\|$ を活用する。
• T反復におけるテレスコピング和の技法を用いて最適性ギャップをバインドし、$f(\hat{\mathbf{x}}_T) - f(\mathbf{x}^*) \leq \frac{1}{T}\left(\|\mathbf{p}^0 - \mathbf{p}\|^2_{\mathbf{G}} + 8c\frac{\sigma^2_{\max}(\mathbf{L}_+)}{\sigma^2_{\min}(\mathbf{L}_-)}E^2U^2\right)$ を示す。
• 誤った更新が伝搬しないように、しきい値条件を備えた双対変数更新則を採用し、累積誤差への影響を有界に保つ。

実験結果

リサーチクエスチョン

• RQ1 信頼できないエージェントが任意の誤差を注入する場合、標準ADMMはどのような条件下で最適解の近傍に線形収束するか？
• RQ2 信頼できないエージェントが存在する状況で、収束を加速するために調整可能なネットワークおよびアルゴリズム的パラメータは何か？
• RQ3 どのような誤差制約がADMMが最適解の近傍ではなく正確な収束を達成できるか？
• RQ4 敵対的またはノイジーな更新を含む任意の誤差に対して、分散ADMMアルゴリズムをどのようにして耐性を持たせられるか？
• RQ5 従来の不正確ADMM研究で扱われた有界かつ構造的誤差を超えて、任意の誤差モデル下でのADMMに統一的な収束解析を構築できるか？

主な発見

• 誤差の大きさとネットワークトポロジーが $\sigma_{\min}(\mathbf{L}_-)$, $\sigma_{\max}(\mathbf{L}_+)$ およびアルゴリズムパラメータを含む特定の条件下にある場合、ADMMは最適解の近傍に線形収束する。
• 収束近傍のサイズは解析的に特徴付けられ、最大誤差エネルギー $\|\mathbf{Q}\mathbf{e}^k\|_2^2$ とラプラシアン行列の条件数に依存する。
• 誤差項が $\sum_{t=1}^T \|\mathbf{Q}\mathbf{e}^t\| \leq 2\sqrt{2}EU を満たす場合、最適解への正確な収束が達成可能である。これは累積誤差への影響を有界にする。
• ROADは凸コスト関数に対して $\mathcal{O}(1/T)$ の収束レートを達成し、最適性ギャップが $\frac{1}{T}\left(\|\mathbf{p}^0 - \mathbf{p}\|^2_{\mathbf{G}} + 8c\frac{\sigma^2_{\max}(\mathbf{L}_+)}{\sigma^2_{\min}(\mathbf{L}_-)}E^2U^2\right)$ で有界であることを示す。
• ROADのしきい値処理機構により $\sum_{t=1}^T \|\mathbf{Q}\mathbf{e}^t\| \leq 2\sqrt{2}EU が保証され、誤差蓄積のバインドと正確な収束の実現に不可欠である。
• ネットワーク設計指針が導出された：スペクトルギャップ $\sigma_{\min}(\mathbf{L}_-)$ を増加させ、$\sigma_{\max}(\mathbf{L}_+)$ を最小化することで、収束速度と耐性が向上する。