[論文レビュー] Collaborative Learning as an Agreement Problem

El Mahdi El Mhamdi, Sadegh Farhadkhani+4 more|arXiv (Cornell University)|Aug 3, 2020

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、f 個のByzantineノードが存在する状況下でも、ノードが誠実なノードの初期ベクトルの平均に近い値を集合的に近似できる、Byzantine協調学習における新しい弱い形の合意形成「平均合意」を導入する。2つの最適な非同期アルゴリズムを提案する—1つは n ≥ 6f+1 を要し、近似的に最適な平均化定数を達成する。もう1つは n ≥ 3f+1 を要し、最適な耐障害性を達成する。両者とも、攻撃的条件下でも耐障害的かつスケーラブルな協調学習を可能にする。

ABSTRACT

We address the problem of Byzantine collaborative learning: a set of $n$ nodes seek to collectively learn from each others' local data. The data distribution may vary from one node to another. No node is trusted and $f < n$ nodes can behave arbitrarily, i.e., they can be Byzantine. We prove that collaborative learning is equivalent to a new and weak form of agreement, which we call averaging agreement. In this problem, nodes start each with an initial vector and seek to approximately agree on a common vector, which is close to the average of honest nodes' initial vectors. More precisely, the error must remain within a multiplicative constant (which we call averaging constant) of the maximum $\ell_2$ distance between the honest nodes' initial vectors. Essentially, the smaller the averaging constant, the better the learning. We present two asynchronous solutions to averaging agreement, each we prove optimal according to some dimension. The first, based on the minimum-diameter averaging, requires $ n \geq 6f+1$, but achieves asymptotically the best-possible averaging constant up to a multiplicative constant. The second, based on reliable broadcast and coordinate-wise trimmed mean, achieves optimal Byzantine resilience, i.e., $n \geq 3f+1$. Each of these algorithms induces an optimal collaborative learning protocol.

研究の動機と目的

• Byzantine故障下での協調学習を合意問題として形式化すること。
• ノードが誠実なノードの初期ベクトルの平均に近いベクトルに近似的に合意する必要がある、新しい合意プリミティブ「平均合意」を定義・分析すること。
• Byzantine環境下で最適な耐障害性と最小限の平均化定数を達成する非同期アルゴリズムを設計すること。
• 提案されたアルゴリズムが、攻撃的データおよびノード行動の下で最適な協調学習プロトコルを誘導することを証明すること。

提案手法

• ノードが誠実なノードの初期ベクトルの平均から有界な誤差内に収束することを目指す、平均合意問題として協調学習を形式化する。
• 最小直径平均化に基づく最初のアルゴリズムを提案する。n ≥ 6f+1 を要し、漸近的に理論的最小値に達する乗法的要因を伴う最良の平均化定数を達成する。
• 信頼性のあるブロードキャストと座標単位のトリムド平均を用いた2番目のアルゴリズムを設計する。n ≥ 3f+1 のノードで、最適なByzantine耐障害性を達成する。
• 両アルゴリズムが、それぞれの次元で最適であることを証明する—1つは平均化定数、もう1つは耐障害性。
• 平均合意の抽象化を用いて、Byzantine行動に耐性のあるエンドツーエンドの協調学習プロトコルを導出する。
• Byzantine協調学習と平均合意問題の等価性を確立し、耐障害的学習システムのモジュラー設計を可能にする。

実験結果

リサーチクエスチョン

• RQ1 Byzantine故障下での協調学習は、新たな形の合意問題に還元可能か？
• RQ2 非同期Byzantine環境下で達成可能な最小の平均化定数は何か？
• RQ3 非同期協調学習で最適な耐障害性（n ≥ 3f+1）を達成するにはどうすればよいか？
• RQ4 最適な耐障害性と近似的に最適な平均化定数を同時に達成できる解が存在するか？
• RQ5 Byzantineノードが存在する状況下で、合意に基づく協調学習の根本的限界は何か？

主な発見

• 本稿では、Byzantine協調学習が平均合意問題を解くことと等価であることを確立した。
• 平均合意とは、ノードが誠実なノードの初期ベクトル間のℓ₂距離の乗法的定数（平均化定数）以内のベクトルに合意する必要がある合意プリミティブである。
• 最初のアルゴリズムは、漸近的に最適な平均化定数を達成し、理論的最小値に定数倍の要因を伴って近づく。
• 2番目のアルゴリズムは最適なByzantine耐障害性を達成し、n ≥ 3f+1 のノードで十分であり、このようなプロトコルにおいて可能な最小値である。
• 両アルゴリズムは、それぞれの設計次元で最適であることが証明された—1つは平均化定数、もう1つは耐障害性。
• 提案された解決策により、f 個のノードが任意に振る舞う状況下でも、最適な協調学習プロトコルが誘導され、耐障害的な集約が可能になる。