[論文レビュー] Precision-based attacks and interval refining: how to break, then fix, differential privacy on finite computers

Samuel Haney, Damien Desfontaines+3 more|arXiv (Cornell University)|Jul 27, 2022

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

この論文は、連続的な確率分布からの正確なサンプリングに続く丸め処理と同一の誤差と証明可能なプライバシーを保証するが、有限精度のコンピュータ上で微分プライバシー機構を安全に実装するための新しい技術、区間精錬（interval refining）を紹介する。この手法は、区間を繰り返し狭めて最終的に1つの浮動小数点数に丸められるまで繰り返すことで、最小限の誤差と証明可能なプライバシーを達成する。30,000サンプル/秒のスループットと1回の反復で98%の終了率を達成するラプラス機構への応用が行われた。

ABSTRACT

Despite being raised as a problem over ten years ago, the imprecision of floating point arithmetic continues to cause privacy failures in the implementations of differentially private noise mechanisms. In this paper, we highlight a new class of vulnerabilities, which we call \emph{precision-based attacks}, and which affect several open source libraries. To address this vulnerability and implement differentially private mechanisms on floating-point space in a safe way, we propose a novel technique, called \emph{interval refining}. This technique has minimal error, provable privacy, and broad applicability. We use interval refining to design and implement a variant of the Laplace mechanism that is equivalent to sampling from the Laplace distribution and rounding to a float. We report on the performance of this approach, and discuss how interval refining can be used to implement other mechanisms safely, including the Gaussian mechanism and the exponential mechanism.

研究の動機と目的

• 浮動小数点実装における微分プライバシーを損なう可能性がある新たな脆弱性、すなわち精度に基づく攻撃を同定・実証すること。
• 一般的なライブラリで使用されている既存の緩和手法の限界を解決すること。これらの手法は、複雑すぎたり、一般化できない、あるいはプライバシー損失を引き起こすことがある。
• 有限精度システム上で連続分布からの安全で、証明可能なプライバシーと最小限の誤差を有するサンプリングを可能にする技術の設計。
• ラプラス機構にとどまらず、ガウス分布や指数機構など、他のメカニズムへの応用可能性を広く示すこと。

提案手法

• 本手法は区間精錬を用いる：浮動小数点空間内で繰り返しサンプリングと区間の縮小を繰り返し、全区間が1つの浮動小数点数に丸められるまで続ける。
• 誤差の境界が保証される任意精度の球算術（ball arithmetic）をArbライブラリで活用し、逆累積分布関数（inverse CDF）の計算を正確に行う。
• 1反復あたり1ビットではなく63ビットを一度にサンプリングすることで、実行時間を約40倍短縮しつつも、正しさを維持する。
• 正確な連続分布からのサンプリングに続いて丸めることをエミュレートするが、誤差は避けられない丸め処理に起因するのみ。
• 区間が1つの浮動小数点数に収まる時点で終了が保証され、各サンプルに対して決定的出力を得られる。
• この手法は一般化可能であり、終了条件を調整することで、ノイズ付きargmax や分位数推定など、他のメカニズムへの応用が可能。

実験結果

リサーチクエスチョン

• RQ1 浮動小数点演算は、標準的なノイズ分布を使用しても、微分プライバシー機構にプライバシー漏洩を引き起こす可能性があるのか？
• RQ2 diffprivlib、SmartNoise Core、OpenDP などの一般的なライブラリに実装された既存の緩和戦略が、なぜ精度に基づく攻撃に対して依然として脆弱なのか？
• RQ3 浮動小数点実装における微分プライバシーに、最小限の誤差と証明可能なプライバシーを両立させる手法を設計可能か？
• RQ4 区間精錬を用いることで、ナイーブな浮動小数点サンプリングと同等の性能でラプラス機構を安全に実装できるか？
• RQ5 区間精錬は、ガウス分布や指数機構など、他の微分プライバシー機構へどの程度一般化可能か？

主な発見

• 提案された区間精錬手法は、ラプラス分布からの正確なサンプリングに続いて最も近い浮動小数点数に丸める場合と同一の誤差を達成し、サンプリングプロセスに起因する追加誤差は一切ない。
• Tumultプラットフォームでの実装は、1秒間に30,000サンプルのスループットを達成し、実用的な性能を示した。
• 2000万回の試行において、98%のサンプルが1回の反復で終了し、残りの2%が2回の反復を要し、3回以上の反復を要するサンプルは一切なかった。
• この手法は証明可能なプライバシーを保ち、抽象的なアルゴリズムと同一のプライバシー保証を維持するため、純粋およびゼロ集中型DPの会計処理と互換性がある。
• この手法は頑健で一般化可能であり、指数機構やノイズ付きargmax などの複雑なメカニズムへの拡張が可能である。
• Arbの球算術の使用により、逆累積分布関数の近似でさえも、計算全体を通して誤差を境界内に保証し、正しさを確保する。