[論文レビュー] Byzantine Fault-Tolerant Distributed Machine Learning Using Stochastic Gradient Descent (SGD) and Norm-Based Comparative Gradient Elimination (CGE)

Nirupam Gupta, Shuo Liu+1 more|arXiv (Cornell University)|Aug 11, 2020

Adversarial Robustness in Machine Learning参考文献 35被引用数 10

ひとこと要約

本稿では、D-SGDに新たなノルムベースの勾配フィルタ「比較的勾配除去（CGE）」を組み込んだ、ビザンチン障害に耐性のある分散機械学習フレームワークを提案する。CGEは各反復で最大のユークリッドノルムを持つf個の確率的勾配を適応的に除去することで、最大f個のビザンチンエージェントが存在する状況下でも最適モデルへの収束を実現し、計算の単純さを保ちつつ、最新の手法（例：multi-KRUM や幾何的中央値の平均）と同等の耐障害性を達成する。

ABSTRACT

This paper considers the Byzantine fault-tolerance problem in distributed stochastic gradient descent (D-SGD) method - a popular algorithm for distributed multi-agent machine learning. In this problem, each agent samples data points independently from a certain data-generating distribution. In the fault-free case, the D-SGD method allows all the agents to learn a mathematical model best fitting the data collectively sampled by all agents. We consider the case when a fraction of agents may be Byzantine faulty. Such faulty agents may not follow a prescribed algorithm correctly, and may render traditional D-SGD method ineffective by sharing arbitrary incorrect stochastic gradients. We propose a norm-based gradient-filter, named comparative gradient elimination (CGE), that robustifies the D-SGD method against Byzantine agents. We show that the CGE gradient-filter guarantees fault-tolerance against a bounded fraction of Byzantine agents under standard stochastic assumptions, and is computationally simpler compared to many existing gradient-filters such as multi-KRUM, geometric median-of-means, and the spectral filters. We empirically show, by simulating distributed learning on neural networks, that the fault-tolerance of CGE is comparable to that of existing gradient-filters. We also empirically show that exponential averaging of stochastic gradients improves the fault-tolerance of a generic gradient-filter.

研究の動機と目的

• 分散確率的勾配降下法（D-SGD）におけるビザンチン障害の課題に対処すること。ここで、障害エージェントは任意の誤った勾配を送信し、学習を損なう可能性がある。
• 複雑な統計的仮定や高い計算コストを必要とせず、耐障害性を維持する計算効率の良い勾配フィルタの設計。
• 適応的閾値を用いたノルムベースのフィルタリングが、multi-KRUM や幾何的中央値の平均といった高度な手法と同等の耐障害性を達成できることの実証。
• 指数的平均化が、一般の勾配フィルタのビザンチン環境下での耐障害性に与える影響の調査。

提案手法

• 各反復で最大のユークリッドノルムを持つf個の確率的勾配を除去するノルムベースの勾配フィルタ「比較的勾配除去（CGE）」を導入。
• 固定閾値とは異なり、非障害エージェントの勾配ノルムに基づいて動的に調整される適応的閾値を採用。
• 勾配フィルタリングのプロセスの耐障害性を向上させるために、確率的勾配の指数的平均化を統合。
• サーバーがCGEを適用し、フィルタリングされた勾配に基づいてグローバルモデルパラメータを更新する信頼できるサーバー型アーキテクチャを採用。
• 標準的な確率的仮定の下で収束境界を理論的に確立し、期待誤差が割合ρ < 1で幾何的に減少することを示す。
• 期待二乗誤差に関する再帰的不等式を導出し、アルゴリズムが最適モデルパラメータw*の近傍に、有界な誤差範囲内で収束することを証明。

実験結果

リサーチクエスチョン

• RQ1 適応的閾値を用いた単純なノルムベース勾配フィルタが、理論的保証のもとで分散SGDにおけるビザンチン障害に耐性を持てるか。
• RQ2 提案されたCGEフィルタは、multi-KRUM や幾何的中央値の平均、スペクトルフィルタといった既存手法と比較して、どの程度の耐障害性性能を示すか。
• RQ3 確率的勾配の指数的平均化が、ビザンチンエージェントが存在する状況下で、一般の勾配フィルタの耐障害性を向上させるか。
• RQ4 CGEをD-SGDに組み込んだ場合、確率的勾配仮定のもとで理論的収束挙動はどのようになるか。

主な発見

• CGEフィルタは、標準的な確率的仮定のもとで、最大f個のビザンチンエージェントに対して耐障害性を保証し、最適モデルの近傍への収束を実現する。
• 理論的分析により、期待二乗誤差が割合ρ < 1で幾何的に減少することが示され、誤差の上限M²の範囲内でw*に収束することが証明された。
• ニューラルネットワークを用いた実験的評価では、CGEがmulti-KRUM や幾何的中央値の平均といった高度な手法と同等の耐障害性を達成した。
• 実験的に、確率的勾配の指数的平均化が、CGEを含む任意の一般勾配フィルタの耐障害性を向上させることを示した。
• CGEにおける適応的閾値は、敵対的勾配攻撃に対して失敗する固定閾値のノルムベースフィルタとは対照的に、耐障害性を確保するために不可欠である。
• multi-KRUM やスペクトルフィルタといった既存のロバストフィルタよりも計算が単純である一方で、同等の耐障害性を維持している。