[論文レビュー] Covert Channel Attack to Federated Learning Systems.

Gabriele Costa, Fabio Pinelli+2 more|arXiv (Cornell University)|Apr 21, 2021

Adversarial Robustness in Machine Learning参考文献 69被引用数 12

ひとこと要約

この論文は、悪意あるクライアントがモデル更新を操作して隠れたデータを埋め込み、監視されにくく通信できるようになる、フェデレーテッドラーニング（FL）システムにおけるコントロールチャネル攻撃を提案する。悪意あるクライアントは、目に見えない変化をもってグローバルモデルをわずかに汚染することで、1回の更新ごとに1ビットの情報を送信可能であり、これはモデルの性能を低下させず、疑いを招かない。

ABSTRACT

Federated learning (FL) goes beyond traditional, centralized machine learning by distributing model training among a large collection of edge clients. These clients cooperatively train a global, e.g., cloud-hosted, model without disclosing their local, private training data. The global model is then shared among all the participants which use it for local predictions. In this paper, we put forward a novel attacker model aiming at turning FL systems into covert channels to implement a stealth communication infrastructure. The main intuition is that, during federated training, a malicious sender can poison the global model by submitting purposely crafted examples. Although the effect of the model poisoning is negligible to other participants, and does not alter the overall model performance, it can be observed by a malicious receiver and used to transmit a single bit.

研究の動機と目的

• フェデレーテッドラーニングシステムが、隠れた通信チャネルとして悪用可能かどうかを調査すること。
• モデルの精度に影響を与えることなく、グローバルモデルの更新に隠れたデータを埋め込むモデル汚染技術を設計すること。
• 誠実な参加者や監視者には検出不能でありながら、悪意ある受信者だけが復号可能な、コントロール通信を保証すること。
• FLの信頼モデルを活用して、監視されにくく持続的な通信を実現する可能性を実証すること。

提案手法

• 悪意ある送信者は、1ビットの情報を符号化する形で、グローバルモデルをわずかに変更する悪意あるトレーニング例を生成する。
• 汚染の度合いは、グローバルモデルの性能にほとんど影響を与えないように調整され、許容可能な精度の範囲内に保たれる。
• 悪意ある受信者は、FLシステムに参加する一方で、モデル更新の特定の摂動パターンを検出することで、埋め込まれた1ビットを復号する。
• 攻撃は、すべてのクライアントが誠実に貢献すると想定される集約プロセスにおける内在的な信頼を悪用する。
• 送信者と受信者のみが符号化方式を把握しているため、他の参加者には通信が見えない。
• 摂動が小さく、通常のトレーニングノイズと類似しているため、一般的な防御に対しても耐性を持つように設計されている。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングシステムは、隠れた通信のためのコントロールチャネルとして再利用可能か？
• RQ2 モデル汚染をどれほど活用すれば、モデルの有用性を損なわず、かつ疑いを招かない範囲でデータを埋め込めるか？
• RQ3 悪意ある送信者と受信者が、1トレーニングラウンドごとに1ビットを送信するためには、どのように協調すればよいか？
• RQ4 このようなコントロールチャネルが、誠実なクライアントやシステム監視者に検出されない条件は何か？

主な発見

• 提案された攻撃は、わずかなモデル汚染を通じて、各グローバルモデル更新に1ビットの情報を効果的に埋め込むことに成功した。
• モデル汚染はグローバルモデルの性能にほとんど影響を与えず、精度が許容範囲内に保たれた。
• 符号化パターンは攻撃者ペア以外に知られていないため、隠れた1ビットを復号できるのは悪意ある受信者だけである。
• 摂動が通常のトレーニングのばらつきと区別できないため、誠実なクライアントには検出不可能であった。
• FLシステムのアーキテクチャやプロトコルに変更を加えることなく、コントロールチャネルが動作した。
• 攻撃は、集約プロセスへの信頼が悪用可能であり、監視されにくく持続的な通信を可能にする可能性を示した。