[論文レビュー] Backdoor attacks and defenses in feature-partitioned collaborative learning

Yang Liu, Zhihao Yi+1 more|arXiv (Cornell University)|Jul 7, 2020

Privacy-Preserving Technologies in Data参考文献 19被引用数 36

ひとこと要約

本論文は、特徴分割型協調学習における受動的な参加者によるバックドア攻撃の注入が可能であることを示し、学習可能なアクティブパーティ、ノイズ、勾配スパース化を含む防御戦略を提案している。

ABSTRACT

Since there are multiple parties in collaborative learning, malicious parties might manipulate the learning process for their own purposes through backdoor attacks. However, most of existing works only consider the federated learning scenario where data are partitioned by samples. The feature-partitioned learning can be another important scenario since in many real world applications, features are often distributed across different parties. Attacks and defenses in such scenario are especially challenging when the attackers have no labels and the defenders are not able to access the data and model parameters of other participants. In this paper, we show that even parties with no access to labels can successfully inject backdoor attacks, achieving high accuracy on both main and backdoor tasks. Next, we introduce several defense techniques, demonstrating that the backdoor can be successfully blocked by a combination of these techniques without hurting main task accuracy. To the best of our knowledge, this is the first systematical study to deal with backdoor attacks in the feature-partitioned collaborative learning framework.

研究の動機と目的

• 特徴が各パーティに分配される特徴分割型協調学習におけるバックドア攻撃の研究動機を示す。
• ラベルを持たない受動的パーティが交換されるメッセージを操作してバックドアを注入できることを示す。
• 防御技術を提案し、主タスクの性能を損なうことなくその有効性を評価する。

提案手法

• アクティブパーティ（ラベル）と受動的パーティ（特徴）を持つ特徴分割型協調学習フレームワークを形式化する。
• バックドア攻撃を勾配/メッセージの汚染および勾配置換戦略として、通信ラウンド全体でモデル化する。
• 学習可能な層の追加、差分プライバシー（ノイズ）、および勾配スパース化を含む防御を提案する。
• バックドアを実現するための勾配汚染と活性化ぼかしのアルゴリズム的詳細を提供する。
• MNISTおよびNUS-WIDEデータセットで、攻撃の成功と防御の有効性を実証的に評価する。

実験結果

リサーチクエスチョン

• RQ1 特徴分割型協調学習においてラベルを持たない受動的パーティがバックドア攻撃を実行できるか？
• RQ2 交換される勾配を介してバックドアを注入する方法はどうで、どのように検出またはブロックできるか？
• RQ3 学習可能なアクティブパーティ、差分プライバシー、勾配スパース化のような防御は、主タスクを害することなくバックドアを効果的に緩和できるか？

主な発見

• 特徴分割学習において、パーティ間のメッセージを操作することでバックドア攻撃が成功し、主タスクとバックドアタスクの両方で高い精度を達成できる。
• 学習可能なアクティブパーティを用いた防御を有効化すると、ラベル漏洩を低減しモデル性能を改善できるが、データセットにより効果は異なる。
• 差分プライバシー（ノイズ付与）はバックドアを緩和できるが、より高いノイズレベルで主タスクの精度が低下する可能性がある。
• 勾配スパース化はバックドアを緩和し、主タスクの精度を保つことができ、特に他の防御と組み合わせた場合に効果的である。
• 攻撃はラベルを持たない受動的パーティを制御する攻撃者でも実行可能で、バックドアは反復を通じて持続する可能性がある。