[論文レビュー] Resilience in Collaborative Optimization: Redundant and Independent Cost Functions

Nirupam Gupta, Nitin H. Vaidya|arXiv (Cornell University)|Mar 21, 2020

Distributed Control Multi-Agent Systems参考文献 26被引用数 7

ひとこと要約

本稿では、Byzantine 故障下におけるマルチエージェントシステムにおける共同最適化のレジリエンスフレームワークを提示し、$t$-レジリエンスのための必要十分条件として$2t$-リダンドンシーの概念を導入する。独立な関数に対しては、冗長なコスト関数の性質または弱いレジリエンス指標を用いた故障耐性アルゴリズムを提案し、悪意ある勾配を抑制するために比較的勾配クリッピング（comparative gradient clipping）を用いた勾配ベースの手法を提示する。

ABSTRACT

This report considers the problem of Byzantine fault-tolerance in multi-agent collaborative optimization. In this problem, each agent has a local cost function. The goal of a collaborative optimization algorithm is to compute a minimum of the aggregate of the agents' cost functions. We consider the case when a certain number of agents may be Byzantine faulty. Such faulty agents may not follow a prescribed algorithm, and they may send arbitrary or incorrect information regarding their local cost functions. A reasonable goal in presence of such faulty agents is to minimize the aggregate cost of the non-faulty agents. In this report, we show that this goal can be achieved if and only if the cost functions of the non-faulty agents have a minimal redundancy property. We present different algorithms that achieve such tolerance against faulty agents, and demonstrate a trade-off between the complexity of an algorithm and the properties of the agents' cost functions. Further, we also consider the case when the cost functions are independent or do not satisfy the minimal redundancy property. In that case, we quantify the tolerance against faulty agents by introducing a metric called weak resilience. We present an algorithm that attains weak resilience when the faulty agents are in the minority and the cost functions are non-negative.

研究の動機と目的

• エージェントが任意または誤ったコスト関数データを送信する可能性がある共同最適化におけるByzantine故障耐性を扱う。
• 故障のないエージェントが故障エージェントが存在する中でも総コストを最小化できる条件を同定する。
• コスト関数にリダンドンシーがない場合のための新しいレジリエンス指標、$(u,t)$-弱レジリエンスを導入する。
• 計算複雑性とコスト関数の性質に関する仮定の両立を図る効率的なアルゴリズムを設計する。
• 比較的勾配クリッピング（CGC）を用いた勾配ベースの共同学習におけるレジリエンスを実証する。

提案手法

• Byzantineエージェントを伴う共同最適化における$t$-レジリエンスのための必要十分条件として$2t$-リダンドンシーを定義する。
• リダンドンシー仮定の下で、コスト関数値のフィルタリングと集約に基づく$t$-レジリエントなアルゴリズムを提案する。
• コスト関数が独立している、またはリダンドンシーを欠いている場合の耐性を測るための$(u,t)$-弱レジリエンス指標を導入する。
• コスト関数が非負であり$n > 2t$である場合に、$u \geq t$の下で$(u,t)$-弱レジリエンスを達成する弱いレジリエントなアルゴリズムを設計する。
• サーバーが「比較的勾配クリッピング」（CGC）を用いて、最大$t$個の勾配ノルムを$(t+1)$番目の最大ノルムにクリッピングすることで、故障エージェントの勾配の影響を抑制する勾配降下ベースのアルゴリズムを実装する。
• $n > 2t$を仮定し、信頼できるサーバーをクライアント・サーバーアーキテクチャで用いて集約と故障緩和を調整する。

実験結果

リサーチクエスチョン

• RQ1 Byzantine故障下での共同最適化において、$t$-レジリエンスを達成するためのエージェントのコスト関数に必要な条件は何か？（必要十分条件）
• RQ2 コスト関数が独立しておりリダンドンシーを欠いている場合、どのようにしてレジリエンスを定量化し達成できるか？
• RQ3 Byzantine耐性共同最適化において、アルゴリズムの複雑性とコスト関数の性質に関する仮定のトレードオフは何か？
• RQ4 比較的勾配クリッピング（CGC）のような単純な勾配フィルタリング機構は、故障エージェントが存在する共同学習においてレジリエンスを保証できるか？
• RQ5 コスト関数にリダンドンシーがない状況で、弱いレジリエンスはどのような条件下で達成可能か？

主な発見

• $t$-レジリエンスを達成するため、故障のないエージェントの真のコスト関数が$2t$-リダンドンシーを満たすことは、必要かつ十分である。
• $(t,t)$-弱レジリエントなアルゴリズムの正規化実装は、コスト関数が非負であり$2t$-リダンドンシーを満たす場合に$t$-レジリエンスを達成する。
• 提案された弱いレジリエンス指標$(u,t)$-弱レジリエンスは、独立したコスト関数を持つシステムにおける耐性を定量化でき、非負のコスト関数と$n > 2t$の下で、すべての$u \geq t$に対してレジリエンスを達成する。
• 比較的勾配クリッピング（CGC）機構は、$t$個の最大ノルム勾配を$(t+1)$番目の最大ノルムにクリッピングすることで、最大$t$個の故障エージェントの勾配の影響を効果的に抑制する。
• 勾配ベースのアルゴリズムは、$2t$-リダンドンシー条件およびコスト関数に関する追加仮定の下で$t$-レジリエンスを達成する。これは先行研究[13]で証明済みである。
• アルゴリズムの複雑性とコスト関数の性質に関する仮定の間にはトレードオフが存在する：より単純なアルゴリズムは、非負性やリダンドンシーといった強い仮定を必要とする。