[論文レビュー] Adaptive Laplace Mechanism: Differential Privacy Preservation in Deep Learning

NhatHai Phan, Xintao Wu+2 more|arXiv (Cornell University)|Sep 18, 2017

Privacy-Preserving Technologies in Data参考文献 19被引用数 19

ひとこと要約

本稿では、訓練エポックに依存せず、モデル出力に対する特徴の重要度に基づいて、ニューラルネットワークの特徴に適応的にノイズを注入する、新しい微分プライバシーなディープラーニングフレームワーク、適応的ラプラスノイズ機構（AdLM）を提案する。高い影響を持つ特徴にはノイズを減じ、低い影響を持つ特徴にはノイズを増やすことで、プライバシーの保証を損なわずに、既存手法よりも高い精度を達成する。

ABSTRACT

In this paper, we focus on developing a novel mechanism to preserve differential privacy in deep neural networks, such that: (1) The privacy budget consumption is totally independent of the number of training steps; (2) It has the ability to adaptively inject noise into features based on the contribution of each to the output; and (3) It could be applied in a variety of different deep neural networks. To achieve this, we figure out a way to perturb affine transformations of neurons, and loss functions used in deep neural networks. In addition, our mechanism intentionally adds "more noise" into features which are "less relevant" to the model output, and vice-versa. Our theoretical analysis further derives the sensitivities and error bounds of our mechanism. Rigorous experiments conducted on MNIST and CIFAR-10 datasets show that our mechanism is highly effective and outperforms existing solutions.

研究の動機と目的

• 訓練エポック数に依存しないプライバシー予算消費を実現する、ディープニューラルネットワーク向けの微分プライバシー機構の開発。
• モデル出力への寄与度に基づいて、特徴へのノイズ注入を適応的に行い、モデルの有用性を向上させること。
• さまざまなディープニューラルネットワークアーキテクチャに適用可能な機構の設計。
• 一様なノイズ注入がモデル性能に与える悪影響を、高重要度の特徴を優先することで軽減すること。
• 提案手法の感受性および誤差バウンドの理論的分析の提供。

提案手法

• 微分プライバシーを維持するために、ディープニューラルネットワークのアフィン変換および損失関数を摂動させる。
• 層別関連度伝播法（LRP）を用いて特徴の重要度を計算し、高影響特徴および低影響特徴を特定する。
• 感受性に基づくラプラス機構を用いて、ノイズを適応的に注入する。重要度が低い特徴にはより大きなノイズを追加する。
• 事前学習モデルを導入し、平均的な特徴重要度 $\mathbf{R}(D)$ を推定することで、ノイズ分布の計算を効率化する。
• 主な構成要素には $\Delta_{\mathbf{R}}$, $\Delta_{\mathbf{h}_0}$, $\Delta_{\mathcal{F}}$, $\overline{R}_j$, $\beta_j$, $\overline{x}$, および $\overline{\phi}$ が含まれ、すべて $O(|D|(d+M))$ 時間で計算可能である。
• さまざまな活性化関数と互換性があり、直列および並列計算環境の両方で適用可能である。

実験結果

リサーチクエスチョン

• RQ1 訓練エポック数に依存しないプライバシー予算消費を実現する、微分プライバシーなディープラーニング機構を設計できるか？
• RQ2 特徴の重要度に基づいてノイズ注入を適応的に分散させることで、モデルの有用性を向上させられるか？
• RQ3 提案手法は、さまざまなディープニューラルネットワークアーキテクチャに一般化可能か？
• RQ4 固定されたプライバシー予算下で、適応的ノイズ分布は一様ノイズ注入と比較して、モデル精度にどのように影響するか？
• RQ5 適応的ノイズ注入機構の理論的感受性および誤差バウンドは何か？

主な発見

• MNISTデータセットにおいて、AdLMはpSGD（71.1%）と比較して平均で5.9%の精度向上（77%）を達成し、統計的有意性（$p<0.01$）を示した。
• CIFAR-10において、AdLMはILMと比較して平均で5%の精度向上を達成し、統計的有意性（$p<0.05$）を示した。
• MNISTおよびCIFAR-10の両方で、AdLMはすべてのテストケースにおいてILMを上回り、適応的ノイズ再配分の有効性を示した。
• 大きなプライバシー予算（$\epsilon=2.5$）でも効果を発揮し、800エポックを経過した後もpSGDを上回った。
• MNISTおよびCIFAR-10における重要度推定のための事前学習には、それぞれ12および50エポックの追加が必要であり、単一GPUで約10分で実行可能であった。
• ノイズ注入の計算オーバーヘッドは最小限であり、線形時間複雑性 $O(|D|(d+M))$ を示し、効率的に並列化可能であった。