[論文レビュー] Exploring the Security Boundary of Data Reconstruction via Neuron Exclusivity Analysis

Xudong Pan, Mi Zhang+3 more|arXiv (Cornell University)|Oct 26, 2020

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本稿では、ReLUベースの全結合ネットワークにおけるモデル勾配からのデータ再構築攻撃のセキュリティ境界を解析的に定義するため、ニューロン排他性分析を導入する。安全でないバッチでは、先行手法を上回る性能を示す決定的攻撃アルゴリズムを提案（PSNR >30を達成）、安全なバッチでは一意の再構築が不可能であることを証明し、新たな排他性低減防御戦略を可能にする。

ABSTRACT

Among existing privacy attacks on the gradient of neural networks, \emph{data reconstruction attack}, which reverse engineers the training batch from the gradient, poses a severe threat on the private training data. Despite its empirical success on large architectures and small training batches, unstable reconstruction accuracy is also observed when a smaller architecture or a larger batch is under attack. Due to the weak interpretability of existing learning-based attacks, there is little known on why, when and how data reconstruction attack is feasible. In our work, we perform the first analytic study on the security boundary of data reconstruction from gradient via a microcosmic view on neural networks with rectified linear units (ReLUs), the most popular activation function in practice. For the first time, we characterize the insecure/secure boundary of data reconstruction attack in terms of the \emph{neuron exclusivity state} of a training batch, indexed by the number of \emph{ extbf{Ex}clusively extbf{A}ctivated extbf{N}eurons} (ExANs, i.e., a ReLU activated by only one sample in a batch). Intuitively, we show a training batch with more ExANs are more vulnerable to data reconstruction attack and vice versa. On the one hand, we construct a novel deterministic attack algorithm which substantially outperforms previous attacks for reconstructing training batches lying in the insecure boundary of a neural network. Meanwhile, for training batches lying in the secure boundary, we prove the impossibility of unique reconstruction, based on which an exclusivity reduction strategy is devised to enlarge the secure boundary for mitigation purposes.

研究の動機と目的

• モデル勾配からのデータ再構築が可能または不可能となる根本的条件を理解すること。
• 異なるバッチサイズやネットワークアーキテクチャにおいて、再構築性能に一貫性が見られない理由を特定すること。
• ニューロン排他性状態に基づいて、データ再構築攻撃の理論的根拠に基づくセキュリティ境界を確立すること。
• 安全でないバッチにおいて、既存の学習ベース手法を上回る性能を示す決定的攻撃アルゴリズムを開発すること。
• 排他性低減という防御戦略を提案し、特定の条件下で一意の再構築が不可能であることを証明することで、セキュア領域を拡大すること。

提案手法

• 1つのサンプルに対してのみ活性化されるReLUユニットの数を数える「排他活性化ニューロン（ExANs）」指標を導入する。
• ExANsが十分に存在するバッチ（安全境界）を定義し、線形方程式系の可解性により再構築が可能であることを示す。
• ExANsを用いて解空間を制約することで、勾配マッチングから導かれる線形方程式系を解くことにより、決定的攻撃アルゴリズムを構築する。
• ExANsの数が不十分（排他性が欠如）な場合、線形方程式系が不定となるため、一意の再構築が不可能であることを証明する。
• 防御として排他性低減を提案：訓練バッチを変更してExANsを低減させることで、セキュリティ境界を拡大する。
• CIFAR-100およびFacescrubデータセットを用いた実験的評価により、攻撃および防御メカニズムを検証し、PSNRを指標とする。

実験結果

リサーチクエスチョン

• RQ1 訓練バッチのどの構造的特性が、勾配からのデータ再構築の可能性を決定づけるか？
• RQ2 実証的観察とは対照的に、大きなバッチサイズや浅いネットワークでも再構築性能が低下する理由は何か？
• RQ3 ニューロンレベルの活性化パターンを用いて、データ再構築のセキュリティ境界を解析的に特徴づけることができるか？
• RQ4 特定の条件下で、一意の再構築が不可能であることを証明することは可能か？
• RQ5 排他性低減は、データ再構築のセキュア領域を拡大する実用的防御として有効に使えるか？

主な発見

• Exclusively Activated Neurons（ExANs）の数が多いバッチは、データ再構築攻撃に対して著しく脆弱である。
• 提案された決定的攻撃は、安全でないバッチにおいてPSNR >30を達成し、従来の学習ベース手法を著しく上回る性能を示した。
• Facescrubデータセットでは、ExANsを含むグループが平均PSNR 11.83を達成した一方、ExANsを含まないグループは10.47であった。これはExANsが攻撃成功に寄与していることを確認する。
• ExANsが十分に存在しないバッチでは、線形方程式系が不定となるため、一意の再構築が不可能であることが証明された。
• 排他性低減は、より広範なバッチクラスにおいて再構築が不可能であることを可能にすることで、セキュリティ境界を効果的に拡大した。
• ExANsが除去されると攻撃性能が著しく低下し、ExANsが脆弱性の主要な指標であることが確認された。