[論文レビュー] A Critical Review on the Use (and Misuse) of Differential Privacy in Machine Learning

Alberto Blanco-Justicia, David Sánchez+2 more|arXiv (Cornell University)|Jun 9, 2022

Privacy-Preserving Technologies in Data被引用数 16

ひとこと要約

この論文は、機械学習における微分プライバシー（DP）の使用を批判的に評価し、大多数の実装が理論的なDPのプライバシー保証を十分に果たせないことを主張している。実際には、それらは単なるノイズ追加に還元され、従来の統計的機微情報漏洩防止措置と同等の機能を示し、事後的なプライバシー保護にとどまる。DPが約束する事前保証とは異なり、性能や効率性の面でも標準的な過学習抑制手法に劣っている。

ABSTRACT

We review the use of differential privacy (DP) for privacy protection in machine learning (ML). We show that, driven by the aim of preserving the accuracy of the learned models, DP-based ML implementations are so loose that they do not offer the ex ante privacy guarantees of DP. Instead, what they deliver is basically noise addition similar to the traditional (and often criticized) statistical disclosure control approach. Due to the lack of formal privacy guarantees, the actual level of privacy offered must be experimentally assessed ex post, which is done very seldom. In this respect, we present empirical results showing that standard anti-overfitting techniques in ML can achieve a better utility/privacy/efficiency trade-off than DP.

研究の動機と目的

• 機械学習における微分プライバシー（DP）が、理論的なプライバシー保証を果たしているかどうかを調査すること。
• 標準的な過学習抑制手法と比較して、DPに基づく機械学習の実用的有用性とプライバシーのトレードオフを評価すること。
• 実世界の機械学習応用において一般的に使われるDPパラメータ（例：ε > 1）の妥当性を評価すること。
• 特に（ε,δ）-DPのような緩和形態が用いられる場合に、DPが機械学習におけるプライバシーのゴールドスタンダードであるという主張を疑問視すること。
• 形式的保証が欠如しているにもかかわらず、大多数のDP-ML研究で実証的プライバシー評価が行われていないという点を強調すること。

提案手法

• 著者たちは、DP-MLモデルを訓練するための標準的手法であるDP-SGDを分析し、勾配クリッピングとノイズ注入に焦点を当てる。
• 目的のε値を達成するためにノイズレベル（σ）を調整する反復的実験を実施し、有用性最適化のアプローチを模倣する。
• テスト精度、学習時間、プライバシー保護の観点から、DP-SGDと標準的なML手法（例：重み減衰、ドロップアウト）を比較する。
• DPとランダム化応答の間の関係を用いて、高いε値（例：ε = 0.1）が実際に提供するプライバシー水準を解釈する。
• DP-SGDの深層モデルへのスケーラビリティを評価し、εが小さすぎる場合に精度がランダム推測水準に達する上限に達することに注意を向ける。
• マイクロバッチサイズがDP-SGDにおける学習効率と精度損失に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 現在の機械学習における微分プライバシーの実装は、DPモデルが約束する事前プライバシー保証を実際に果たしているのか？
• RQ2 標準的な過学習抑制手法と比較して、DP-MLの実際のプライバシー・有用性・効率性のトレードオフはいかなるものか？
• RQ3 一般的に使われるプライバシーパラメータ（例：ε = 0.1）は、理論的に安全とされる値（ε ≤ 1）と比較して、実世界のプライバシー保護においてどの程度の差異を示すのか？
• RQ4 形式的保証が欠如しているにもかかわらず、なぜ大多数のDP-ML研究で実証的プライバシー評価が省かれるのか？
• RQ5 重み減衰やドロップアウトといった標準的なML手法は、DP-SGDよりも優れたプライバシー・有用性トレードオフを達成できるのか？

主な発見

• 大多数のDP-ML実装は、理論的に安全とされる閾値（ε ≤ 1）から大きく離れたプライバシーパラメータ（例：ε = 0.1）を使用しており、形式的なプライバシー保証は無効である。
• これらの実装が提供する実際のプライバシー保護は、真の微分プライバシーではなく、従来のノイズ追加と同等であり、事後的な評価が求められ、事前保証とはならない。
• 目標ε（例：ε = 0.1）を達成するために用いられる反復的キャリブレーションプロセスは、公式統計の有用性最適化アプローチに類似しており、DPのプライバシー・バイ・デザインモデルとは一致しない。
• 重み減衰やドロップアウトといった標準的な過学習抑制手法は、DP-SGDよりも優れた有用性・プライバシー・効率性のトレードオフを達成しており、はるかに低い学習コストを要する。
• εが小さすぎる場合、DP-SGDでは精度がクラス数の逆数（つまり、ランダム推測水準）に達する上限に達し、複雑なモデルには不適切になる。
• DP-SGDによる学習は、個々のインスタンスの勾配クリッピングにより、ベースライン手法と比較して15〜40倍遅くなり、GPUバッチ処理の利点を相殺する。