[論文レビュー] Feature Space Hijacking Attacks against Differentially Private Split Learning

Grzegorz Gawron, Philip Stubbings|arXiv (Cornell University)|Jan 11, 2022

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

本論文は、特徴空間乗っ取り攻撃（FSHA）が、プライバシー予算（ε）が低い場合でさえも、微分プライバシーを適用したスプリットラーニングシステムにおいて、プライベートなクライントデータを効果的に再構築可能であることを示している。TensorFlow-Privacyを介して微分プライバシーを適用しても、攻撃は高い忠実度の再構築を達成しており、攻撃者がサーバーを制御し、プライベートデータの分布に一致する公開データにアクセスできる場合、DPはこのような再構築攻撃に対して十分な保護を提供しないことが明らかになった。

ABSTRACT

Split learning and differential privacy are technologies with growing potential to help with privacy-compliant advanced analytics on distributed datasets. Attacks against split learning are an important evaluation tool and have been receiving increased research attention recently. This work's contribution is applying a recent feature space hijacking attack (FSHA) to the learning process of a split neural network enhanced with differential privacy (DP), using a client-side off-the-shelf DP optimizer. The FSHA attack obtains client's private data reconstruction with low error rates at arbitrarily set DP epsilon levels. We also experiment with dimensionality reduction as a potential attack risk mitigation and show that it might help to some extent. We discuss the reasons why differential privacy is not an effective protection in this setting and mention potential other risk mitigation methods.

研究の動機と目的

• スプリットラーニングアーキテクチャにおける特徴空間乗っ取り攻撃（FSHA）に対する微分プライバシー（DP）の有効性を評価すること。
• スプリットラーニングにおけるクライント側モデル学習にDPを適用した場合、FSHAを軽減できるかどうかを調査すること。
• 次元削減が、微分プライバシーを適用したスプリットラーニングにおけるFSHAに対する防御メカニズムとして有効かどうかを検討すること。
• 公開データセットとプライベートデータセットのデータ分布の類似度が、FSHAの成功に与える影響を評価すること。
• サーバーが侵害され、攻撃者がクライントのトレーニング済みモデルにアクセスできる状況下で、DPがプライベートデータを保護できない理由を特定すること。

提案手法

• TensorFlow-PrivacyのDPOptimizerを用いた差分プライバシーを適用したクライントモデルを用いたスプリットニューラルネットワークにFSHAを適用した。
• 中間特徴表現からプライベートなクライント入力を再構築するために、サーバー側にオートエンコーダーとディスクラミネーターを用いた。
• TensorFlow-Privacyライブラリを介して勾配クリッピングとノイズ注入を適用することで、クライントモデルの学習にDPを適用した。
• MNISTおよびFashion-MNISTデータセットを用い、さまざまなDPのεレベルと次元削減の有無を考慮して、攻撃のパフォーマンスを評価した。
• 入力データにPCAを用いた次元削減を適用し、その影響がFSHAの再構築品質に与える影響を検証した。
• トレーニング済みのオートエンコーダーを用いてプライベート入力を再構築し、元の入力と比較して再構築忠実度を測定した。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーがクライントモデルに適用されていても、特徴空間乗っ取り攻撃（FSHA）はスプリットラーニングシステムでプライベートデータを再構築可能か？
• RQ2 プライバシー予算εの選択が、微分プライバシーを適用したスプリットラーニングにおけるFSHAの成功にどのように影響するか？
• RQ3 入力データの次元削減は、プライベートデータのFSHA再構築効果を低下させるか？
• RQ4 公開データとプライベートデータの分布の類似度が、FSHA再構築品質にどの程度影響を及ぼすか？
• RQ5 攻撃者がサーバーを制御し、クライントのモデルパラメータにアクセスできる状況で、なぜ微分プライバシーがFSHAに対して効果を発揮しないのか？

主な発見

• FSHAは、MNISTおよびFashion-MNISTにおいても、低プライバシー予算（ε = 0.1）でも高い忠実度の再構築を達成しており、DPが再構築攻撃を防げないことを示している。
• 微分プライバシーの追加により、FSHAの収束性や再構築品質に顕著な悪影響は見られず、DPノイズがこうした攻撃を遮断するには不十分であることが示された。
• 再構築された画像は識別可能で意味的にも明確であり、衣類のパターンや顔の構造といった特徴が、DPの影響を受けても保持されていた。
• PCAを用いた次元削減により再構築品質が低下し、特に成分数が少ない場合（例：2または4成分）に顕著に顕在性が低下した。
• 攻撃の成功は、公開データとプライベートデータの分布の類似度に強く依存しており、類似度が高いほど再構築品質が向上した。
• 結果から、サーバー側のFSHA攻撃に対しては、微分プライバシーのみでは不十分であり、セキュアな実行環境やデータ前処理などの追加防御策の導入が不可欠であると示唆された。