[論文レビュー] Fault-Tolerant Multi-Agent Optimization: Part III

Lili Su, Nitin H. Vaidya|arXiv (Cornell University)|Sep 6, 2015

Optimization and Search Problems参考文献 19被引用数 8

ひとこと要約

本稿では、クラッシュ故障およびByzantine故障の下で、反復的コンセンサスに基づく更新と局所計算、1回のメッセージ交換によるマルチエージェントシステムにおける耐故障分散最適化アルゴリズムを提示する。最大f個のエージェントが故障しても、重みの分布と誤差の上限に関する保証のもとで、近似的なグローバル最適解への収束を達成する。

ABSTRACT

We study fault-tolerant distributed optimization of a sum of convex (cost) functions with real-valued scalar input/output in the presence of crash faults or Byzantine faults. In particular, the goal is to optimize a global cost function $\frac{1}{n}\sum_{i\in \mathcal{V}} h_i(x)$, where $\mathcal{V}=\{1, \ldots, n\}$ is the collection of agents, and $h_i(x)$ is agent $i$'s local cost function, which is initially known only to agent $i$. Since the above global cost function cannot be optimized exactly in presence of crash faults or Byzantine faults, we define two weaker versions of the problem for crash faults and Byzantine faults, respectively. When some agents may crash, the goal for the weaker problem is to generate an output that is an optimum of a function formed as $$C(\sum_{i\in \mathcal{N}} h_i(x)+\sum_{i\in \mathcal{F}} α_i h_i(x)),$$ where $\mathcal{N}$ is the set of non-faulty agents, $\mathcal{F}$ is the set of faulty agents (crashed agents), $0\le α_i\le 1$ for each $i\in \mathcal{F}$ and $C$ is a normalization constant such that $C(|\mathcal{N}|+\sum_{i\in \mathcal{F}} α_i)=1$. We present an iterative algorithm in which each agent only needs to perform local computation, and send one message per iteration. When some agents may be Byzantine, the system cannot take full advantage of the data kept by non-faulty agents. The goal for the associated weaker problem is to generate an output that is an optimum of a function formed as $$\sum_{i\in \mathcal{N}}α_i h_i(x),$$ such that $α_i\geq 0$ for each $i\in \mathcal{N}$ and $\sum_{i\in \mathcal{N}}α_i=1$. We present an iterative algorithm, where only local computation is needed and only one message per agent is sent in each iteration, that ensures that at least $|\mathcal{N}|-f$ agents have weights ($α_i$'s) that are lower bounded by $\frac{1}{2(|\mathcal{N}|-f)}$.

研究の動機と目的

• 最大f個のエージェントがクラッシュまたは悪意ある行動をとる可能性があるマルチエージェントシステムにおける分散凸最適化の課題に対処すること。
• 故障したエージェントの存在により正確なグローバル最適化が不可能であるため、クラッシュ故障およびByzantine故障の下でより弱い最適化問題を定式化すること。
• 非故障エージェントの局所的コスト関数に適切な重みを割り当てることで、真のグローバル最適解に近い解への収束を保証すること。
• 局所的計算と1回のメッセージ送信のみを必要とする軽量で反復的なアルゴリズムを設計すること。
• 結果を非同期システムに一般化し、Byzantine故障耐性に向けた緩い仮定のもとで実現可能性を示すこと。

提案手法

• 非故障エージェントに高い重みを、故障エージェントの寄与は係数αi ∈ [0,1]で上限を設けることにより、局所的コスト関数の重み付き平均を最適化の目的関数として提案する。
• 各エージェントが局所的勾配を計算し、現在の推定値とともに送信し、受信値の平均に基づいて自身の状態を更新する反復的アルゴリズムを用いる。
• 重み付き和が有効な確率的加重平均を形成するよう正規化定数Cを導入し、凸性および収束性の性質を保持する。
• 勾配のLipschitz連続性と導関数の有界性（L）を活用し、反復間での誤差伝播を制限する。
• 勾配と推定値のコンセンサスを用いて、故障エージェントからのメッセージを検出し、除外または軽減するメカニズムを導入する。
• メッセージ受信ロジックを変更することで、変動する遅延に対応し、遅延またはクラッシュしたエージェントが存在しても進行を保証するように、非同期システムにアルゴリズムを適応させる。

実験結果

リサーチクエスチョン

• RQ1 クラッシュ故障に対して耐性を持つ分散マルチエージェント最適化は、グローバル最適解の意味のある近似への収束を維持しつつ実現可能か？
• RQ2 エージェントが任意または悪意あるデータを送信する可能性がある場合、分散最適化におけるByzantine故障はどのように処理できるか？
• RQ3 最大f個の故障エージェントが存在する状況で、故障耐性を確保するために必要な最小システムサイズ（n > 3f）は何か？
• RQ4 1回の反復あたり1つのメッセージのみを送信する反復的アルゴリズムは、故障モデル下でも収束を達成可能か？
• RQ5 非故障エージェントに割り当てられる重みはどのように変化するか？また、故障が存在する状況で保証可能な下限は何か？

主な発見

• クラッシュ故障の下では、最終解において少なくとも|N| − f個のエージェントが重みαi ≥ 1/(2(|N| − f))を有することが保証され、非故障エージェントの影響力に下限が与えられる。
• アルゴリズムは問題2をβ = 1/nおよびγ = n − fで解くことができ、最終的な目的関数において少なくともn − f個のエージェントが1/n以上の重みを有することが保証される。
• Byzantine故障の下では、少なくとも|N| − 2f個のエージェントが重みαi ≥ 1/(2(|N| − f))を有することが保証され、悪意ある行動に対しても耐性が確保される。
• 収束は、局所的コスト関数が凸、連続的に微分可能であり、かつ勾配がL-Lipschitz連続であるという仮定のもとで証明されている。
• 結果は非同期システムへ拡張可能であるが、問題1（クラッシュ故障）は、遅延エージェントがクラッシュしたと誤って分類される可能性があるため解けない。
• 勾配のLipschitz定数Lおよび推定値の範囲に依存する誤差バウンドを伴い、最大f個のエージェントが故障していても安定性と収束性を維持する。