[論文レビュー] Practical Defences Against Model Inversion Attacks for Split Neural Networks

Tom Titcombe, Adam James Hall+2 more|arXiv (Cornell University)|Apr 12, 2021

Privacy-Preserving Technologies in Data参考文献 31被引用数 26

ひとこと要約

論文はSplitNNフェデレーテッド学習におけるモデル inversion 攻撃を研究し、単純なラプラシアンノイズ防御を導入、NoPeekNNと比較、MNISTでのプライバシー-ユーティリティのトレードオフを分析する。

ABSTRACT

We describe a threat model under which a split network-based federated learning system is susceptible to a model inversion attack by a malicious computational server. We demonstrate that the attack can be successfully performed with limited knowledge of the data distribution by the attacker. We propose a simple additive noise method to defend against model inversion, finding that the method can significantly reduce attack efficacy at an acceptable accuracy trade-off on MNIST. Furthermore, we show that NoPeekNN, an existing defensive method, protects different information from exposure, suggesting that a combined defence is necessary to fully protect private user data.

研究の動機と目的

• SplitNNsにおける脅威モデルを定義する。悪意あるサーバがモデル inversion を実行して入力データを回復できる状況。
• データの入手可能性と事前知識を考慮して、攻撃の有効性の現実的な限界を評価する。
• 一方的なノイズベース防御を提案し、NoPeekNNと比較する。
• MNISTでのプライバシーとユーティリティのトレードオフを評価する。

提案手法

• データ所有者がサーバへ送信する前の中間データ表現に加法的ラプラシアンノイズを付与する。
• NoPeekNNの損失加重とノイズ防御を組み合わせた分類器を訓練し、alpha を {0.1,0.5,1.0}、ノイズスケール b を {0.1,0.5,1.0} で探索する。
• 中間表現から入力を復元する攻撃モデルを別データセットで訓練し、 attacker の知識を変化させる（例: EMNIST を代理として）。
• 防御の有効性を定性的（再構成）および定量的（元データと再構成データの距離相関＋精度影響）で比較する。
• 訓練時 DP メカニズムの統合を将来の課題として議論する。

実験結果

リサーチクエスチョン

• RQ1 SplitNNs における悪意ある計算サーバは限定的なデータ分布知識の下で入力データをモデル inversion 攻撃で抽出できるか？
• RQ2 単純な加法的ラプラシアンノイズ防御はNoPeekNNと比較してSplitNNs のモデル inversion を抑制する上でどれほど効果的か？
• RQ3 ノイズ防御、NoPeekNN、またはその組み合わせを適用した場合のモデルの有用性（分類精度）への影響は？
• RQ4 MNIST にわたってノイズとNoPeekNNの組み合わせはより頑健なプライバシー-ユーティリティのバランスを提供するか？
• RQ5 攻撃者の知識とデータセットサイズは再構成成功にどのように影響するか？

主な発見

ノイズスケール	NoPeekNN 重み	精度（％）	距離相関
0.0	0.1	98.04	0.472 ± 0.004
0.0	0.2	97.80	0.390 ± 0.003
0.0	0.5	97.90	0.368 ± 0.004
0.1	0.0	98.19	0.804 ± 0.004
0.1	0.1	97.84	0.474 ± 0.003
0.1	0.5	98.00	0.411 ± 0.004
0.2	0.0	98.00	0.811 ± 0.004
0.2	0.1	97.98	0.491 ± 0.003
0.2	0.5	97.46	0.411 ± 0.003
0.5	0.0	98.24	0.795 ± 0.004
0.5	0.1	97.52	0.525 ± 0.003
0.5	0.5	97.38	0.437 ± 0.003

• ノイズ防御とNoPeekNNの双方でMNISTの分類精度を大きく低下させない。
• NoPeekNN は入力と中間データ間の距離相関を予想通り低減するが、防御強度が低い場合は再構成は依然として有用な情報を保持する。
• 加法的ラプラシアンノイズはノイズスケール1.0で再構成を実質的に破壊しつつ、精度を合理的に保つ。
• NoPeekNNとノイズの組み合わせは補完的なプライバシー利点をもたらし、再構成の質に定性的な差異を生む。
• 攻撃者の性能は限定的な知識と小規模データセットでも依然として成り立ち、SplitNN における実践的なプライバシリスクを示す。