[論文レビュー] Differentially Private Deep Learning with Direct Feedback Alignment

Jae Wook Lee, Daniel Kifer|arXiv (Cornell University)|Oct 8, 2020

Privacy-Preserving Technologies in Data参考文献 36被引用数 5

ひとこと要約

本論文は、バックプロパゲーションの生物学的代替手法である直接フィードバックアライメント（DFA）を用いた、最初の微分プライバシー訓練手法を提案する。フィードフォワード後に活性化関数と誤差信号をクリッピングし、固定された誤差伝送行列を用い、更新方向にガウスノイズを追加することで、DP-DFAはMNIST、ファッション-MNIST、CIFAR-10データセットにおける全結合層および畳み込み層のネットワークで、微分プライバシー付きSGDよりも10–20%高い精度を達成した。ハイブリッドDFA/SGDアプローチはさらなる向上をもたらした。

ABSTRACT

Standard methods for differentially private training of deep neural networks replace back-propagated mini-batch gradients with biased and noisy approximations to the gradient. These modifications to training often result in a privacy-preserving model that is significantly less accurate than its non-private counterpart. We hypothesize that alternative training algorithms may be more amenable to differential privacy. Specifically, we examine the suitability of direct feedback alignment (DFA). We propose the first differentially private method for training deep neural networks with DFA and show that it achieves significant gains in accuracy (often by 10-20%) compared to backprop-based differentially private training on a variety of architectures (fully connected, convolutional) and datasets.

研究の動機と目的

• 標準のSGDベースの手法におけるバイアスが強くノイズが多い勾配が引き起こす、微分プライバシー付きディープラーニングにおける顕著な精度低下を是正すること。
• 生物学的にインspiredな学習アルゴリズム、たとえば直接フィードバックアライメント（DFA）が、バックプロパゲーションよりも微分プライバシーに適しているかどうかを調査すること。
• 個々の例の勾配クリッピングを回避し、勾配バイアスを低減する、DFAに基づく新しい微分プライバシー訓練アルゴリズムの開発と評価すること。
• 複数のアーキテクチャとデータセットにおいて、DP-DFAの性能を微分プライバシー付きSGDおよびハイブリッドDFA/SGDアプローチと比較すること。
• DFAベースの学習が、プライバシー保護型ディープラーニングにおける、プライベートモデルとノンプライベートモデルの間の精度ギャップを埋められることを示すこと。

提案手法

• 誤差信号を重み結合のバックプロパゲーションではなく、固定されたランダム行列を介して伝播させる、直接フィードバックアライメント（DFA）を用いた微分プライバシー訓練アルゴリズムを提案する。
• 感度を制御するために、勾配クリッピングをフィードフォワード処理の*後*に適用する。
• 重み伝送問題を回避するため、固定されたランダムな誤差伝送行列を用いて誤差フィードバックを計算する。
• Renyi微分プライバシーを保証するために、更新方向に平均ゼロのガウスノイズを追加し、ノイズスケールをプライバシー予算に合わせて調整する。
• 時間経過に伴うプライバシー損失を追跡するためのモーメント会計師を採用し、正確なepsilons-deltaプライバシー会計を可能にする。
• 下層では標準のSGD、上層ではDFAを用いるハイブリッド訓練戦略を実装し、非プライベートなハイブリッドアプローチを模倣する。

実験結果

リサーチクエスチョン

• RQ1 直接フィードバックアライメント（DFA）は、保証されたプライバシーを有する微分プライバシー付きディープラーニングに適応可能か？
• RQ2 DP-DFAは、標準の微分プライバシー付きSGDと比較して勾配バイアスを低減し、モデル精度を向上させるか？
• RQ3 DP-DFAの性能は、さまざまなネットワークアーキテクチャとデータセットにおいて、微分プライバシー付きSGDと比較してどうなるか？
• RQ4 ハイブリッドDFA/SGD訓練戦略は、プライバシー保護型ディープラーニングにおける精度をさらに向上させられるか？
• RQ5 DP-DFAにおけるアクティベーション後のクリッピングと固定誤差行列の使用は、プライバシーを維持しながら、学習の安定性と精度を向上させるか？

主な発見

• DP-DFAは、高プライバシー予算下でも、ファッション-MNISTおよびCIFAR-10における全結合ネットワークで、微分プライバシー付きSGDよりも10–20%高いテスト精度を達成した。
• ファッション-MNISTでは、σ=0.01で200エポック後に85.2%のテスト精度（ε≈9.49、δ=10⁻⁵）を達成し、同じプライバシー予算下でDP-SGDを上回った。
• CIFAR-10では、ハイブリッドDFA/SGDアプローチがσ=0.03で62.1%のテスト精度（ε≈2.61、δ=10⁻⁵）を達成し、純粋なDP-SGDおよび純粋なDP-DFAを著しく上回った。
• 全結合ネットワークでは、DP-DFAはDP-SGDよりも少ない訓練エポックで高い精度に飽和したため、収束が早く、より高いサンプル効率を示した。
• 同一設定下で、DP-DFAではDP-SGDよりもプライバシー予算（ε）の増加が遅く、より優れたプライバシーと精度のトレードオフを示した。
• タンジェントおよびシグモイド活性化関数をDFA層で使用すると、ReLUよりも性能が向上した。これは、非プライベート環境下でもReLUがDFAに対して最適でないことを示唆している。