[論文レビュー] When Relaxations Go Bad: "Differentially-Private" Machine Learning.

Bargav Jayaraman, David Evans|arXiv (Cornell University)|Feb 24, 2019

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

この論文は、微分プライバシー機械学習における理論的プライバシー保証と実際のプライバシー漏洩の間の乖離を調査し、一般的に使用される大きなプライバシー予算（$5c$）および高度なメカニズムが、強固な理論的境界にもかかわらず、実世界のプライバシー保護が弱いことを示している。ロジスティック回帰およびニューラルネットワークにおける実験から、上界のプライバシー保証と推論攻撃による測定された実際のプライバシー損失との間には、極めて大きな隔たりが生じており、現在の手法が有用性と意味のあるプライバシーの両立に失敗していることが明らかになった。

ABSTRACT

Differential privacy is a strong notion for privacy that can be used to prove formal guarantees, in terms of a privacy budget, $\epsilon$, about how much information is leaked by a mechanism. However, implementations of privacy-preserving machine learning often select large values of $\epsilon$ in order to get acceptable utility of the model, with little understanding of the impact of such choices on meaningful privacy. Moreover, in scenarios where iterative learning procedures are used, differential privacy variants that offer tighter analyses are used which appear to reduce the needed privacy budget but present poorly understood trade-offs between privacy and utility. In this paper, we quantify the impact of these choices on privacy in experiments with logistic regression and neural network models. Our main finding is that there is a huge gap between the upper bounds on privacy loss that can be guaranteed, even with advanced mechanisms, and the effective privacy loss that can be measured using current inference attacks. Current mechanisms for differentially private machine learning rarely offer acceptable utility-privacy trade-offs with guarantees for complex learning tasks: settings that provide limited accuracy loss provide meaningless privacy guarantees, and settings that provide strong privacy guarantees result in useless models. Code for the experiments can be found here: this https URL

研究の動機と目的

• 理論的保証にもかかわらず、微分プライバシー機械学習における大きなプライバシー予算（$\\epsilon$）の実用的影響を調査すること。
• 複雑なモデルにおける反復的学習手順における高度な微分プライバシーメカニズムの有効性を評価すること。
• 推論攻撃を用いて実際のプライバシー損失を定量化し、理論的上界と対比すること。
• ロジスティック回帰およびニューラルネットワークの文脈における、モデルの有用性と意味のあるプライバシーのトレードオフを評価すること。
• 現在の実装が、妥当な有用性と強固なプライバシーを同時に達成できないことを示すこと。

提案手法

• 著者たちは、標準的な微分プライバシー最適化技術を用いて、ロジスティック回帰およびニューラルネットワークモデルの実験を実施した。
• 反復的トレーニングのためのプライバシー予算推定を厳密にするために、モーメンツ会計師などの高度なプライバシーメカニズムを適用した。
• 実際のプライバシー損失を測定するために推論攻撃が用いられ、攻撃者がトレーニングデータに関して回復できる情報量が推定された。
• 理論的プライバシー境界（$5c$）と、さまざまな$5c$値における経験的プライバシー損失を比較した。
• 実験では、線形および深層学習モデルにおける有用性-プライバシーのトレードオフを評価するために、$5c$を体系的に変化させた。
• 実装には再現性を確保するためのコードが含まれており、プライバシー評価パイプラインの再現が可能である。

実験結果

リサーチクエスチョン

• RQ1 プライバシー予算$5c$の選択が、微分プライバシー機械学習モデルにおける実際のプライバシー漏洩にどのように影響するか？
• RQ2 理論的上界と比較して、高度なプライバシーメカニズムは、有効なプライバシー損失をどの程度低減するか？
• RQ3 推論攻撃は、理論的上界と比較して、実世界のプライバシー損失をどの程度正確に測定できるか？
• RQ4 微分プライバシー機械学習におけるロジスティック回帰およびニューラルネットワークにおける有用性-プライバシーのトレードオフは何か？
• RQ5 現在の微分プライバシー訓練手法は、強固なプライバシー保証と受け入れ可能なモデル有用性の両方を提供できるか？

主な発見

• 理論的プライバシー境界と推論攻撃による測定された実際のプライバシー損失の間に、顕著な隔たりが存在する。これは、高度なメカニズムを用いても同様である。
• 理論的プライバシー保証が強い設定ではモデルの有用性が使用不能になる一方、高有用性の設定では意味のないプライバシー保護が提供される。
• 実際の運用で一般的に使用される大きな$5c$値は、形式的な保証があるにもかかわらず、最小限のプライバシー保護しか提供しない。
• モーメンツ会計師のような高度なメカニズムは理論的プライバシー予算を低減するが、実際のプライバシー漏洩の意味的な低減には結びつかない。
• 推論攻撃は、理論的$5c$境界が示唆するよりも常に多く情報を回復することができ、現在の実装がプライバシー保護を過剰に評価していることを示している。
• 本研究は、現在の微分プライバシー機械学習手法が、複雑な学習タスクにおいて、バランスの取れた有用性-プライバシーのトレードオフを達成できないことを示している。