[論文レビュー] Byzantine Multi-Agent Optimization: Part II

Lili Su, Nitin H. Vaidya|arXiv (Cornell University)|Jul 7, 2015

Optimization and Search Problems参考文献 30被引用数 33

ひとこと要約

本稿は、任意の有向グラフ上で分散凸最適化を実行する条件ベースのByzantineマルチエージェント最適化フレームワークを提案する。このフレームワークでは、最大f人のByzantine障害が発生しても、エージェントがk個の入力関数の平均に整合するように合意形成を行う。2つのアルゴリズムを導入する：滑らか関数に対して補助情報を利用したデコーディングベース手法、および補助情報が不要で非滑らか関数に適した軽量な合意形成ベース手法。両手法とも、冗長性の仮定のもとで真の平均最適解に収束する。

ABSTRACT

In Part I of this report, we introduced a Byzantine fault-tolerant distributed optimization problem whose goal is to optimize a sum of convex (cost) functions with real-valued scalar input/ouput. In this second part, we introduce a condition-based variant of the original problem over arbitrary directed graphs. Specifically, for a given collection of $k$ input functions $h_1(x), \ldots, h_k(x)$, we consider the scenario when the local cost function stored at agent $j$, denoted by $g_j(x)$, is formed as a convex combination of the $k$ input functions $h_1(x), \ldots, h_k(x)$. The goal of this condition-based problem is to generate an output that is an optimum of $\frac{1}{k}\sum_{i=1}^k h_i(x)$. Depending on the availability of side information at each agent, two slightly different variants are considered. We show that for a given graph, the problem can indeed be solved despite the presence of faulty agents. In particular, even in the absence of side information at each agent, when adequate redundancy is available in the optima of input functions, a distributed algorithm is proposed in which each agent carries minimal state across iterations.

研究の動機と目的

• 任意の有向グラフ上で分散マルチエージェント最適化におけるByzantine故障耐性を扱う。
• 最大f人のByzantineエージェントが存在しても、非故障エージェントがk個の入力凸関数の平均の最小化点に収束できることを保証する。
• 最小限の状態と計算量で動作する軽量で故障耐性のあるアルゴリズムを設計するが、特に補助情報が利用できない状況を想定する。
• 入力関数が共通の最適解を持つ、または十分な冗長性を持つ場合に問題が解ける条件を確立する。
• 滑らか関数と非滑らか関数の両方への適用性を踏まえ、デコーディングベースと合意形成ベースのアプローチの間で、メモリ使用量、計算量、適用範囲のトレードオフを比較する。

提案手法

• 各エージェントの局所コストがk個の入力関数の凸結合である条件ベース最適化問題として定式化し、ジョブ割り当て行列Aを用いる。
• 微分可能な入力関数とエージェントに補助情報が利用可能な場合に、勾配降下法と生成行列を用いたデコーディング手順を組み合わせたデコーディングベースアルゴリズムを導入する。
• 補助情報が不要で、エージェントごとの状態が最小限、各イテレーションでのデコーディングも不要な合意形成ベースアルゴリズムを提案し、非滑らか関数に適している。
• エージェントが推定値を繰り返し平均化し、勾配ステップを適用する動的合意形成更新則を採用し、グラフの連結性と冗長性の条件のもとで収束を保証する。
• 収束を保証するため、α(t)の減少ステップサイズを用い、∑α²(t) < ∞ を満たす。推定誤差の有界性は、リャプノフ型解析により証明する。
• 十分な非故障エージェントが平均関数に意味的に寄与するよう保証するため、条件1（グラフ構造）とAのスパarsity（sp(A) = k′）に依存する。

実験結果

リサーチクエスチョン

• RQ1 エージェントが入力関数の凸結合のみを保持する場合、任意の有向グラフ上でByzantineマルチエージェント最適化が解けるか？
• RQ2 非故障エージェントが最大f人のByzantineエージェントが存在する状況でも、k個の入力関数の平均の最小化点に収束できる条件は何か？
• RQ3 補助情報の有無が、Byzantine耐性分散最適化アルゴリズムの設計と性能にどのように影響するか？
• RQ4 補助情報やデコーディングが不要な軽量な合意形成ベースアルゴリズムは、収束を達成できるか？また、どのような関数クラスに適用可能か？
• RQ5 Byzantine耐性分散最適化において、計算複雑度、メモリ使用量、関数の滑らかさの間にはどのようなトレードオフがあるか？

主な発見

• 合意形成ベースアルゴリズムは、すべての入力関数が少なくとも1つの共通の最小化点を持つ限り、補助情報がなくても真の平均最適解に収束することが保証される。
• デコーディングベースアルゴリズムは、入力関数が微分可能で補助情報が利用可能な場合に、適切な生成行列を用いてデコーディングすることで、平均最適解に収束することが保証される。
• 合意形成ベースアルゴリズムはエージェントごとの状態が最小限で、各イテレーションでのデコーディングが不要なため、メモリと計算オーバーヘッドを低減する。
• 共通の最適解の仮定のもとで、局所推定値の極限が平均関数h(x) = (1/k)∑hᵢ(x)の最小化点の集合に属することを保証する。
• 推定誤差の有界性と勾配関連項の可summability（可和性）に依存し、∑α²(t) < ∞ および重要部分集合におけるエージェント重みの正の下界を仮定することで収束を証明する。
• グラフ条件（条件1）とジョブ割り当て行列Aの構造的仮定（冗長性の確保）により、問題は解けることが保証される。