[論文レビュー] SAFELearning: Enable Backdoor Detectability In Federated Learning With Secure Aggregation

Zhuosheng Zhang, Jiarui Li+2 more|arXiv (Cornell University)|Feb 4, 2021

Privacy-Preserving Technologies in Data参考文献 32被引用数 9

ひとこと要約

SAFELearningは、安全な集約を用いてモデルの機微を保護しながらバックドア検出を可能にする、フェデレーテッドラーニングプロトコルの新規提案である。秘密のランダムグループ化（ORG）と部分的パラメータ公開（PPD）を導入することで、個々のモデルパラメータを露呈せずに集約されたサブグループモデルにおける異常検出を実現し、一般的な攻撃戦略下でもバックドア正答率をほぼゼロに抑えるとともに、先行研究と比較して計算コストを低減した。

ABSTRACT

For model privacy, local model parameters in federated learning shall be obfuscated before sent to the remote aggregator. This technique is referred to as \emph{secure aggregation}. However, secure aggregation makes model poisoning attacks such backdooring more convenient considering that existing anomaly detection methods mostly require access to plaintext local models. This paper proposes SAFELearning which supports backdoor detection for secure aggregation. We achieve this through two new primitives - \emph{oblivious random grouping (ORG)} and \emph{partial parameter disclosure (PPD)}. ORG partitions participants into one-time random subgroups with group configurations oblivious to participants; PPD allows secure partial disclosure of aggregated subgroup models for anomaly detection without leaking individual model privacy. SAFELearning can significantly reduce backdoor model accuracy without jeopardizing the main task accuracy under common backdoor strategies. Extensive experiments show SAFELearning is robust against malicious and faulty participants, whilst being more efficient than the state-of-art secure aggregation protocol in terms of both communication and computation costs.

研究の動機と目的

• ローカルモデルパラメータが安全な集約によって保護されている場合に、フェデレーテッドラーニングにおけるバックドア攻撃を検出する課題に対処すること。
• 悪意あるモデル更新の検出能力を損なわせることなく、モデルの機微を保護すること。
• 大規模なフェデレーテッドラーニングシステムにおける安全な集約の計算および通信コストを低減すること。
• 個々のモデルパラメータの平文にアクセスせずに、集約モデルに対する効果的な異常検出を可能にすること。
• 現実のフェデレーテッドラーニング展開環境における悪意あるおよび誤動作する参加者に対して、耐性を示すこと。

提案手法

• 参加者を一時的なランダムサブグループに分割する秘密のランダムグループ化（ORG）を導入し、参加者および集約者に対してグループ構成および参加者を隠す。
• 部分的パラメータ公開（PPD）を採用し、サブグループモデルパラメータの安全な公開を可能にするとともに、プライバシー漏洩をグローバルモデルの水準に限定する。
• 階層的サブグループ設計を用いることで、ユーザー側の計算複雑度をO(N² + mN)からO(N + n² + m)へ、サーバー側をO(mN²)からO(mN + nN)へ削減する。
• ペアワイズマスキングおよび秘密分散などの暗号技術を活用し、ドロップアウトや悪意ある行動に対してもセキュリティおよび正しさを維持する。
• サブグループモデルに対する適応的外れ値検出を適用し、個々のモデル重みを露呈せずにバックドアパターンを特定・緩和する。
• シミュレーションに基づくモデルにおける証明可能なセキュリティを確保し、合従的または機会的攻撃者に対してもプライバシーと整合性を維持する。

実験結果

リサーチクエスチョン

• RQ1 ローカルモデルパラメータが安全な集約によって隠蔽されている場合に、フェデレーテッドラーニングにおけるバックドア検出を効果的に可能にすることができるか？
• RQ2 安全な集約を、個々のモデルのプライバシーを漏らさずに異常検出をサポートするように拡張できるか？
• RQ3 既存プロトコルと比較して、安全なフェデレーテッドラーニングにおけるバックドア検出を有効化する際の計算および通信コストはどの程度か？
• RQ4 現実の展開環境における悪意あるおよび誤動作する参加者に対して、提案手法はどの程度耐性を示すか？
• RQ5 一般的な攻撃戦略下で、SAFELearningはバックドア正答率をどの程度低減できるか、一方でメインタスクの正答率を高い水準で維持できるか？

主な発見

• 攻撃者割合が比較的低い状況下で、SAFELearningはバックドアモデルの正答率をほぼ0%まで低減することに成功し、強力な防御能力を示した。
• プロトコルは、バニラフェデレーテッドラーニングと同等の収束速度を維持しており、メイン学習タスクへの影響が最小限であることが示された。
• 計算複雑度は顕著に低減された：ユーザー側はO(N² + mN)からO(N + n² + m)へ、サーバー側はO(mN²)からO(mN + nN)へ。
• ResNet-18とCIFAR-10を用いた広範な実験により、悪意あるおよび誤動作する参加者に対しても本手法は耐性を示した。
• 部分的パラメータ公開により、個々のモデルパラメータを露呈せずにサブグループモデルにおける効果的な異常検出が可能となり、プライバシーが保持された。
• 効率性の面で最先端の安全な集約を上回り、通信および計算コストを低減するとともに、バックドア検出をサポートする。