[論文レビュー] SLSGD: Secure and Efficient Distributed On-device Machine Learning

Cong Xie, Sanmi Koyejo+1 more|arXiv (Cornell University)|Mar 16, 2019

Privacy-Preserving Technologies in Data参考文献 30被引用数 4

ひとこと要約

SLSGD は、データポイズニングに耐性があり、通信効率の高い分散型オンデバイス学習アルゴリズムであり、ローカルな確率的勾配降下法と頑健な集約、移動平均を用いて非IIDおよび異種設定下でも耐性を発揮し、収束を保証する。少数のワーカーが改ざんされても、訓練が安定する。

ABSTRACT

We consider distributed on-device learning with limited communication and security requirements. We propose a new robust distributed optimization algorithm with efficient communication and attack tolerance. The proposed algorithm has provable convergence and robustness under non-IID settings. Empirical results show that the proposed algorithm stabilizes the convergence and tolerates data poisoning on a small number of workers.

研究の動機と目的

• オンデバイス機械学習における通信制限、計算の非均一性、非IIDデータの課題に対処する。
• データポイズニング攻撃下でも収束性と頑健性を維持する分散最適化アルゴリズムを開発する。
• 先行研究がIIDまたは均一な仮定に依存するのに対し、非IIDおよび非均一設定下での理論的収束保証を提供する。
• 誤差の蓄積と同期頻度の低さに起因する分散を軽減するため、頑健な集約と移動平均技術を用いて訓練を安定化する。

提案手法

• グローバル更新ごとに複数回のローカルイテレーションを実行するローカル SGD を用いて通信負荷を低減する。
• トリムド平均を用いた頑健な集約により、悪意のあるワーカーからの異常なモデルをフィルタリングする。
• グローバルモデルの更新に移動平均を適用することで、同期頻度が低い場合の分散と誤差を低減する。
• 各グローバルエポックごとにランダムなワーカー部分集合を活性化させ、負荷を分散させ、通信頻度を低減する。
• 収束安定性と頑健性を制御するため、適応的学習率減衰（α）とトリミング閾値（b）を導入する。
• 理論的分析により、非IIDおよび非均一設定下で強凸、非強凸、および制限付き非凸関数についての収束性を証明する。

実験結果

リサーチクエスチョン

• RQ1 通信制限と頑健な集約を伴うローカル SGD は、非IIDデータ分布下でも理論的収束を達成できるか？
• RQ2 少数のワーカーが改ざんされた場合、SLSGD はどのようにデータポイズニングに耐性を示すか？
• RQ3 ローカル更新回数とハイパーパrameter（α, b）が収束速度と安定性に与える影響は何か？
• RQ4 データパーティショニングの不均衡は収束にどのような影響を及ぼすか？SLSGD はその分散を軽減できるか？
• RQ5 頑健な集約と移動平均は、ポイズニング攻撃下でモデルの発散を効果的に防止できるか？

主な発見

• SLSGD は、非IIDおよび非均一設定下で、強凸、非強凸、および制限付き非凸関数について理論的収束を達成する。
• トリムド平均（オプション II）を用いた SLSGD は、各エポックで最大 40% のデータがポイズニングされても、壊滅的発散を効果的に防止する。
• b（トリミング閾値）を大きくし、α（学習率）を小さくすることで、ポイズニングおよび不均衡データ下での頑健性と収束速度が向上する。
• グローバルエポックごとのローカルイテレーション数を増やすことで収束が加速し、実験ではローカルデータを3回分走査（pass=3）した場合に訓練損失の低下が速くなった。
• 攻撃が存在しない状況では、α=1 かつ b=0（FedAvg に相当）の設定が最も速く収束するが、他の設定との性能差は最小限にとどまる。
• 不均衡なパーティショニングと攻撃が同時に存在する状況では、α を小さくすることでより高い安定性が得られ、トリムド平均が発散を防ぐために不可欠である。