[論文レビュー] BayBFed: Bayesian Backdoor Defense for Federated Learning

Kavita Kumari, Phillip Rieger+3 more|arXiv (Cornell University)|Jan 23, 2023

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

BayBFed は、データ分布や攻撃パターンに関する仮定に依存せずに、クライント更新の確率的モデリングを用いて悪意のある更新を検出・フィルタリングする、フェデレーテッドラーニングにおける新しいベイジアンバックドア防御を提案する。階層的ベータ・ベルヌーイ過程と、新規のCRP-Jensenクラスタリングアルゴリズムを活用することで、多様なデータセットにおいても強力な検出性能を達成するとともに、健全なモデルの精度を維持する。

ABSTRACT

Federated learning (FL) allows participants to jointly train a machine learning model without sharing their private data with others. However, FL is vulnerable to poisoning attacks such as backdoor attacks. Consequently, a variety of defenses have recently been proposed, which have primarily utilized intermediary states of the global model (i.e., logits) or distance of the local models (i.e., L2-norm) from the global model to detect malicious backdoors. However, as these approaches directly operate on client updates, their effectiveness depends on factors such as clients' data distribution or the adversary's attack strategies. In this paper, we introduce a novel and more generic backdoor defense framework, called BayBFed, which proposes to utilize probability distributions over client updates to detect malicious updates in FL: it computes a probabilistic measure over the clients' updates to keep track of any adjustments made in the updates, and uses a novel detection algorithm that can leverage this probabilistic measure to efficiently detect and filter out malicious updates. Thus, it overcomes the shortcomings of previous approaches that arise due to the direct usage of client updates; as our probabilistic measure will include all aspects of the local client training strategies. BayBFed utilizes two Bayesian Non-Parametric extensions: (i) a Hierarchical Beta-Bernoulli process to draw a probabilistic measure given the clients' updates, and (ii) an adaptation of the Chinese Restaurant Process (CRP), referred by us as CRP-Jensen, which leverages this probabilistic measure to detect and filter out malicious updates. We extensively evaluate our defense approach on five benchmark datasets: CIFAR10, Reddit, IoT intrusion detection, MNIST, and FMNIST, and show that it can effectively detect and eliminate malicious updates in FL without deteriorating the benign performance of the global model.

研究の動機と目的

• 直接的なクライントモデル重みの操作や、データや攻撃戦略に関する制限的な仮定に依存する既存のバックドア防御の限界を解消すること。
• データの非独立同分布性やクライント固有の最適化戦略とは独立して、ローカル学習戦略に起因するすべての調整を捉える汎用的なクライント更新の表現を構築すること。
• 更新の確率的測度を活用して、悪意のあるモデルを強力に同定・フィルタリングする検出メカニズムを設計すること。
• 多様で現実世界のデータセットにおいて、標的型バックドア攻撃を効果的に緩和しつつ、健全なモデルの精度を高い水準で維持すること。

提案手法

• BayBFed は、クライントモデル更新の確率的測度を、階層的ベータ・ベルヌーイ過程を用いて計算し、クライント間でのパラメータ変更の尤度をモデリングする。
• 中国レストラン過程に由来する新規のクラスタリングアルゴリズム、CRP-Jensen を用いて、確率的測度に基づいて更新をグループ化し、異常検出を実現する。
• 防御フレームワークは、生の重みではなく確率的表現に基づいて動作するため、L2ノルムやコサイン類似度を操作する攻撃戦略に対しても耐性を示す。
• バリデーションデータやデータ分布、クライントラベルの多様性、攻撃タイミングに関する仮定を必要としないため、汎用性が向上する。
• 悪意のある更新は、確率的空間における健全な更新の主要な分布から著しく逸脱するクラスタとして特定される。
• 集約プロセス中に疑わしい更新をフィルタリングすることで、健全なデータに対するグローバルモデルの性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 生の重み値に依存せずに、ローカル学習に起因するすべての変動を要約する確率的表現を、クライント更新に対して構築可能か？
• RQ2 そのような確率的測度が、多様なデータ分布や攻撃戦略においてもバックドア攻撃を強力に検出可能か？
• RQ3 CRP-Jensen のようなベイジアン非パラメトリッククラスタリングアプローチが、従来の距離ベースやノルムベースの検出手法を上回る性能を発揮できるか？
• RQ4 非IID環境や現実世界の設定において、標的型バックドア攻撃を効果的に緩和しつつ、健全なモデル精度を高い水準で維持できるか？

主な発見

• BayBFed は、データ分布やクライントラベルの多様性、攻撃タイミングに関する仮定を必要とせず、フェデレーテッドラーニングにおける悪意のある更新を効果的に検出・フィルタリングする。
• CIFAR10、MNIST、FMNIST、Reddit、IoTインシデント検出を含む、すべての評価対象データセットで高い健全なモデル精度を維持する。
• L2ノルムやコサイン類似度を操作する高度なバックドア攻撃に対しても、従来の防御では回避可能な攻撃を効果的に防ぐ。
• CRP-Jensen クラスタリングアルゴリズムは、健全な更新の分布に巧みに埋め込まれた悪意のある更新でさえも、成功裏に同定する。
• 実験的評価により、攻撃者が BayBFed を回避しつつも、効果的なバックドア機能を維持することは不可能であることが確認された。
• ベイジアン非パラメトリックモデリングの活用により、汎用的で強力かつスケーラブルな防御メカニズムが実現可能であり、多様な FL環境に適用可能である。