[論文レビュー] BASGD: Buffered Asynchronous SGD for Byzantine Learning

Yi-Rui Yang, Wu-Jun Li|arXiv (Cornell University)|Mar 2, 2020

Privacy-Preserving Technologies in Data参考文献 47被引用数 6

ひとこと要約

本稿では、通信エラーおよび悪意ある攻撃に耐性を持ち、サーバーに学習データを格納しないことでプライバシーを確保する、Byzantine学習向けに新規に提案されたバッファ付き非同期確率的勾配降下法（BASGD）を提示する。理論的収束性は、通常の非同期SGDと同等であり、追加の定数分散を除いて同程度であり、実験的にも攻撃やエラー状態下で、通常のASGDおよび他のABLベースラインを大きく上回る性能を発揮する。

ABSTRACT

Distributed learning has become a hot research topic, due to its wide application in cluster-based large-scale learning, federated learning, edge computing and so on. Most distributed learning methods assume no error and attack on the workers. However, many unexpected cases, such as communication error and even malicious attack, may happen in real applications. Hence, Byzantine learning (BL), which refers to distributed learning with attack or error, has recently attracted much attention. Most existing BL methods are synchronous, which will result in slow convergence when there exist heterogeneous workers. Furthermore, in some applications like federated learning and edge computing, synchronization cannot even be performed most of the time due to the online workers (clients or edge servers). Hence, asynchronous BL (ABL) is more general and practical than synchronous BL (SBL). To the best of our knowledge, there exist only two ABL methods. One of them cannot resist malicious attack. The other needs to store some training instances on the server, which has the privacy leak problem. In this paper, we propose a novel method, called buffered asynchronous stochastic gradient descent (BASGD), for BL. BASGD is an asynchronous method. Furthermore, BASGD has no need to store any training instances on the server, and hence can preserve privacy in ABL. BASGD is theoretically proved to have the ability of resisting against error and malicious attack. Moreover, BASGD has a similar theoretical convergence rate to that of vanilla asynchronous SGD (ASGD), with an extra constant variance. Empirical results show that BASGD can significantly outperform vanilla ASGD and other ABL baselines, when there exists error or attack on workers.

研究の動機と目的

• 異種のワーカー環境下で収束が遅くなるという、従来の同期型Byzantine学習手法の限界を解消すること。
• フェデレーテッドラーニングやエッジコンピューティングのような、オンラインワーカーが一般的な実世界の応用において、同期が現実的でない問題を克服すること。
• クライアントのプライバシーを保つために、サーバー上で学習インスタンスを格納しない非同期型Byzantine学習手法を設計すること。
• 分散学習システムにおいて、通信エラーおよび悪意ある攻撃の両方に耐性を持つこと。
• 通常の非同期SGDと同等の理論的収束保証を達成しつつ、Byzantineワーカーに対しても耐性を維持すること。

提案手法

• 勾配計算とパラメータ更新を分離することで非同期性を実現する、バッファ付き非同期確率的勾配降下（BASGD）フレームワークを提案する。
• パラメータサーバーにバッファを導入し、ワーカーからの勾配を一時的に格納することで、遅延や順不同の更新を可能にする。
• 更新プロセス中に改ざん済みまたは悪意ある勾配の影響をフィルタリングまたは低減する、耐障害性の高い集約ルールを適用する。
• 学習インスタンスをサーバーに格納しないようにし、勾配情報のみに依存することで、データプライバシーを確保する。
• 理論的に、通常のASGDと同等の収束速度を示すが、追加の定数分散項を除いて同様であることを証明する。
• サーバーが複数のワーカーからの勾配を非同期に集約し、Byzantine耐性のある集約戦略を適用する確率的勾配降下更新ルールを用いる。

実験結果

リサーチクエスチョン

• RQ1 サーバーに学習データを格納しないことでプライバシーを保証できる非同期型Byzantine学習手法を設計できるか？
• RQ2 提案されたBASGD手法は、Byzantine状態下でも通常の非同期SGDと同等の収束特性を維持できるか？
• RQ3 BASGDは分散学習環境において、通信エラーおよび悪意ある攻撃の両方に対して効果的に耐性を示せるか？
• RQ4 ワーカーがエラーまたは攻撃を受けた状況下で、BASGDは通常のASGDおよび他の既存のABLベースラインと比較して、実験的にどのように性能を発揮するか？
• RQ5 非同期およびByzantineワーカー状態下で、BASGDの理論的収束挙動はいかなるものか？

主な発見

• BASGDは、通常の非同期SGDと同等の収束速度を示し、追加の定数分散項を除いて同程度の理論的収束性を達成する。
• 本手法は通信エラーおよびワーカー上の悪意ある攻撃の両方に対して効果的に耐性を持ち、学習の安定性を維持する。
• BASGDは、サーバーにいかなる学習インスタンスも格納しないため、データ保持に起因するプライバシー漏洩リスクがなくなる。
• 実験的結果から、攻撃やエラー状態下でも、BASGDは通常のASGDおよび他のABLベースラインと比較して、モデルの精度において顕著に優れていることが示された。
• バッファ機構により、収束性や耐性を損なわずに効率的な非同期更新が可能である。
• 提案手法は、同期が困難でプライバシーが重要なフェデレーテッドラーニングやエッジコンピューティングなどの実世界応用において実用的である。