[論文レビュー] Fault-Tolerant Distributed Optimization (Part IV): Constrained Optimization with Arbitrary Directed Networks

Lili Su, Nitin H. Vaidya|arXiv (Cornell University)|Nov 5, 2015

Distributed systems and fault tolerance参考文献 28被引用数 18

ひとこと要約

本稿では、任意の有向ネットワークを想定したマルチエージェントシステムにおける、クラッシュ故障およびビザンチン故障を許容する耐故障分散最適化アルゴリズムを提示する。凸制約下で、行列表現を用いた反復的合同の手法により、完全接続ネットワークの先行研究を有向グラフへ一般化し、重みパラメータβおよびγによって上限が定まる重み付き局所目的関数の平均値への収束を達成する。

ABSTRACT

We study the problem of constrained distributed optimization in multi-agent networks when some of the computing agents may be faulty. In this problem, the system goal is to have all the non-faulty agents collectively minimize a global objective given by weighted average of local cost functions, each of which is initially known to a non-faulty agent only. In particular, we are interested in the scenario when the computing agents are connected by an arbitrary directed communication network, some of the agents may suffer from crash faults or Byzantine faults, and the estimate of each agent is restricted to lie in a common constraint set. This problem finds its applications in social computing and distributed large-scale machine learning. The fault-tolerant multi-agent optimization problem was first formulated by Su and Vaidya, and is solved when the local functions are defined over the whole real line, and the networks are fully-connected. In this report, we consider arbitrary directed communication networks and focus on the scenario where, local estimates at the non-faulty agents are constrained, and only local communication and minimal memory carried across iterations are allowed. In particular, we generalize our previous results on fully-connected networks and unconstrained optimization to arbitrary directed networks and constrained optimization. As a byproduct, we provide a matrix representation for iterative approximate crash consensus. The matrix representation allows us to characterize the convergence rate for crash iterative consensus.

研究の動機と目的

• 任意の有向通信ネットワークを想定したマルチエージェントシステムにおける制約付き分散最適化を扱う。クラッシュおよびビザンチン故障の両方を許容する。
• 完全接続ネットワークに関する先行研究を一般有向グラフへ拡張し、故障耐性および制約処理を維持する。
• パラメータβ（重み閾値）およびγ（βを超える重みの最小数）を用いて、システム性能を特徴づける。これらはグローバル目的関数の品質を定義する。
• 悪意ある行動が存在する状況下でも、非故障エージェントがすべて同じ重み付き局所コスト関数の最小化解に収束することを保証する。
• 反復的近似クラッシュ合同のための行列表現を提供し、収束速度およびシステム挙動の分析を可能にする。

提案手法

• エージェントが隣接エージェントからのメッセージを用いて、局所的推定値を反復的に更新する分散勾配ベースのアルゴリズムを用いる。
• 制約を満たすために、すべての推定値が共通の凸集合$ X $内に留まるように、射影作用素$ P_X $を適用する。
• エージェント状態の進化をモデル化するための行列表現$ \mathbf{\Psi}_{ik}(t) $を導入し、合同収束の分析を可能にする。
• インデグリと故障数に基づく重みを定義する：$ a_j[t-1] = \frac{1}{\ell_j + 1} $、ここで$ \ell_j $は受信メッセージ数を表す。
• 故障の影響を受けても収束を保証するため、減少するステップサイズ$ \lambda[t-1] $を用いる。
• 重み行列の左固有ベクトル、特に長期的影響を表す$ \pi_k(t) $を用いて収束を分析する。

実験結果

リサーチクエスチョン

• RQ1 クラッシュおよびビザンチン故障を伴う任意の有向ネットワークにおいて、耐故障分散最適化を達成できるか？
• RQ2 ネットワークトポロジーおよび故障分布が、特にβおよびγの観点でシステム性能に与える影響は何か？
• RQ3 反復的合同の行列表現を用いることで、クラッシュ故障シナリオにおける収束速度を特徴づけられるか？
• RQ4 制約集合が、故障エージェントが存在する状況下での収束およびグローバル目的関数の品質に与える影響は何か？
• RQ5 有向ネットワークにおいて、解けるγパラメータは個々のエージェントのインデグリおよび故障数にどのように依存するか？

主な発見

• 提案されたアルゴリズム6は、$ \widetilde{\mathcal{A}}(\beta, \gamma) $内に収束を達成する。ここで$ \tilde{\beta} = \min\left\{ \frac{1}{\max_i(d_i^{-}+1 - \phi_i)}, \frac{1}{|\mathcal{N}|} \right\} $および$ \tilde{\gamma} = \min_i(d_i^{-}+1 - \phi_i) $であり、$ \phi_i $は故障したインバウンドネイバー数を表す。
• 反復的合同の行列表現により、クラッシュ故障シナリオにおける収束速度の正確な特徴づけが可能となり、長期挙動の分析が可能になる。
• アルゴリズムはすべての非故障エージェントが共通の極限点$ y[\bar{t}] $に収束することを保証する。この極限点は初期状態、勾配、および故障に起因する重みに依存する。
• 収束極限は$ \lim_{s\to\infty} \bar{\mathbf{x}}_i[\bar{t}+s] = \sum_k \pi_k(1)x_k[0] - \sum_r \lambda[r-1]\sum_k \pi_k(r+1)d_k[r-1] + \sum_r \sum_k \pi_k(r+1)e_k[r-1] $として導出され、影響重みおよび故障ダイナミクスに依存することが示される。
• 無向グラフの場合、修正された更新ルールにより正確な平均最小化$ \frac{1}{|\mathcal{N}|}\sum_{i\in\mathcal{N}} h_i(x) $が達成され、対称性がある場合に性能が向上することが示される。
• アルゴリズム6における解けるγは、各エージェントのインデグリおよび故障数にのみ依存する。これに対してアルゴリズム1はソースコンポーネント構造に依存するため、よりスケーラブルでトポロジーに適応した境界が得られると示唆される。