[論文レビュー] DP-SIGNSGD: When Efficiency Meets Privacy and Robustness

Lingjuan Lyu|arXiv (Cornell University)|May 11, 2021

Privacy-Preserving Technologies in Data参考文献 23被引用数 4

ひとこと要約

本稿では、通信効率性、Byzantine耐性、強力なプライバシー保証を同時に達成するため、勾配の符号量子化と慎重にキャリブレーションされた局所的微分プライバシー（LDP）ノイズを組み合わせた新しいフェデレーテッドラーニング手法、DP-SIGNSGDを提案する。さらに、収束精度を向上させるために誤差フィードバック（EF-DP-SIGNSGD）を統合し、40%までのByzantine攻撃者に対しても、均一および非均一なデータ分布の両方で強力な性能を示す。

ABSTRACT

Federated learning (FL) has emerged as a promising collaboration paradigm by enabling a multitude of parties to construct a joint model without exposing their private training data. Three main challenges in FL are efficiency, privacy, and robustness. The recently proposed SIGNSGD with majority vote shows a promising direction to deal with efficiency and Byzantine robustness. However, there is no guarantee that SIGNSGD is privacy-preserving. In this paper, we bridge this gap by presenting an improved method called DP-SIGNSGD, which can meet all the aforementioned properties. We further propose an error-feedback variant of DP-SIGNSGD to improve accuracy. Experimental results on benchmark image datasets demonstrate the effectiveness of our proposed methods.

研究の動機と目的

• フェデレーテッドラーニングにおける、効率性、プライバシー、Byzantine耐性を同時に達成するという重要な課題に対処すること。
• SIGNSGDのような既存手法では、強力な効率性と耐性を備えながらも、形式的なプライバシー保証が欠如しているというギャップを埋めること。
• 非均一および悪意あるFL環境下でも、収束性と正確性を維持しつつ、局所的微分プライバシー（LDP）を保持する手法を設計すること。
• SIGNSGDに誤差フィードバックを拡張することで、プライバシーや通信効率を犠牲にすることなく、モデルの正確性を向上させること。

提案手法

• 符号操作を適用する前に、局所勾配にキャリブレーションされたノイズを導入し、(ϵ, δ)-局所的微分プライバシーを確保する。
• ノイズを加えた勾配に対して符号操作を適用することで通信効率を達成し、フルプレシジョン手法と比較して帯域幅を32倍削減する。
• サーバーでメジャリティボイス集約戦略を採用することで、最大50%の悪意ある参加者に対してもByzantine耐性を確保する。
• 量子化誤差を補償するための誤差フィードバック機構（EF-DP-SIGNSGD）を統合し、収束精度を向上させる。
• 理論的分析により、DP-SIGNSGDが(ϵ, δ)-LDPを満たすことが証明され、プライバシーバジェットϵがプライバシーと効用のトレードオフを制御することを示す。
• 本手法は、クライアントごとのクラス数を変化させたり、異なるByzantine攻撃シナリオを想定したりしたMNISTおよびCIFAR-10で評価されている。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおける符号ベースの圧縮手法が、通信効率性や耐性を損なわず、形式的なプライバシー保証を達成できるか。
• RQ2 キャリブレーションされたノイズの追加が、符号ベースのFLにおける収束性とモデル正確性に与える影響は何か。
• RQ3 DP-SIGNSGDは、特に負の勾配攻撃者からの攻撃に対し、どの程度の性能を維持できるか。
• RQ4 誤差フィードバックの統合が、プライバシーや耐性を損なわず、DP-SIGNSGDの正確性を顕著に向上させるか。
• RQ5 プライバシーバジェットϵが、DP-SIGNSGDにおけるプライバシーとモデル性能のトレードオフに与える影響は何か。

主な発見

• EF-DP-SIGNSGDは、ϵ=2およびδ=10−5の条件下でMNISTで92.84%のテスト正確度を達成し、同じプライバシーバジェット下でDP-SIGNSGDを1%以上上回る性能を示した。
• DP-SIGNSGDは、40%のクライアントがByzantine攻撃者であっても安定した性能を維持し、負の勾配攻撃者に対しても強い耐性を示した。
• ϵ=1およびδ=10−5の条件下で、EF-DP-SIGNSGDはMNISTで91.50%の正確度に到達し、プライバシー保護型学習が収束性を損なわないことを示した。
• 本手法は、フルプレシジョンのFedAvgと比較して、1ラウンドあたり通信コストを32倍削減しながらも、競争的な正確度を維持した。
• 理論的分析により、DP-SIGNSGDが(ϵ, δ)-局所的微分プライバシーを満たすことが確認され、形式的なプライバシー保証が得られた。
• 実証的結果から、EF-DP-SIGNSGDは複数のデータセットおよび攻撃シナリオにおいて、DP-SIGNSGDおよび標準的なSIGNSGDを常に上回る性能を示した。