[論文レビュー] How to Make Your Approximation Algorithm Private: A Black-Box Differentially-Private Transformation for Tunable Approximation Algorithms of Functions with Low Sensitivity

Jeremiah Blocki, Elena Grigorescu+2 more|arXiv (Cornell University)|Oct 7, 2022

Advanced Data Storage Technologies被引用数 2

ひとこと要約

本稿では、グローバル感度が低いチューナブルな近似アルゴリズム向けに、ブラックボックス型の微分プライバシー変換を提示する。これにより、プライバシー保護型の部分線形時間および部分線形空間アルゴリズムが可能になる。スムーズ感度とポストプロセッシングを活用することで、(ε, δ)-微分プライバシーを達成し、乗法的近似保証を有する。その結果、三角形数え上げ、連結成分、最小全域木重み推定について、初めて知られるε-微分プライバシーを満たす部分線形時間アルゴリズムが得られ、またLpノルムおよび異なる要素数のスライディングウィンドウアルゴリズムについてもプライベートな手法が提供される。

ABSTRACT

We develop a framework for efficiently transforming certain approximation algorithms into differentially-private variants, in a black-box manner. Specifically, our results focus on algorithms A that output an approximation to a function f of the form $(1-a)f(x)-k \leq A(x) \leq (1+a)f(x)+k$, where $k \in \mathbb{R}_{\geq 0}$ denotes additive error and $a \in [0,1)$ denotes multiplicative error can be``tuned" to small-enough values while incurring only a polynomial blowup in the running time/space. We show that such algorithms can be made DP without sacrificing accuracy, as long as the function f has small global sensitivity. We achieve these results by applying the smooth sensitivity framework developed by Nissim, Raskhodnikova, and Smith (STOC 2007). Our framework naturally applies to transform non-private FPRAS and FPTAS algorithms into $ε$-DP approximation algorithms where the former case requires an additional postprocessing step. We apply our framework in the context of sublinear-time and sublinear-space algorithms, while preserving the nature of the algorithm in meaningful ranges of the parameters. Our results include the first (to the best of our knowledge) $ε$-edge DP sublinear-time algorithm for estimating the number of triangles, the number of connected components, and the weight of a minimum spanning tree of a graph. In the area of streaming algorithms, our results include $ε$-DP algorithms for estimating Lp-norms, distinct elements, and weighted minimum spanning tree for both insertion-only and turnstile streams. Our transformation also provides a private version of the smooth histogram framework, which is commonly used for converting streaming algorithms into sliding window variants, and achieves a multiplicative approximation to many problems, such as estimating Lp-norms, distinct elements, and the length of the longest increasing subsequence.

研究の動機と目的

• 非プライベートな近似アルゴリズムを一般的かつブラックボックス型に微分プライベートなバージョンに変換するための手法を開発すること。
• 部分線形時間および部分線形空間アルゴリズムなどのリソース制約下でも、正確性と効率性を維持すること。
• チューナブルな乗法的および加法的誤差を有する近似アルゴリズムにおける微分プライバシーを可能にすること。
• スムーズヒストグラムフレームワークをスライディングウィンドウワークロードに適応し、微分プライバシー設定に拡張すること。
• 元のアルゴリズムの効率性や近似品質を損なうことなく、意味のあるプライバシー-正確性トレードオフを達成すること。

提案手法

• Nissim, Raskhodnikova, and Smith (STOC 2007) のスムーズ感度フレームワークを適用し、局所感度に基づいたノイズ注入を制御する。
• 任意の (1±α)f(x)±κ 近似アルゴリズムを、関数 f のグローバル感度に比例したノイズを追加することで、微分プライベートなバージョンに変換する。
• 出力を精緻化し、特に FPRAS および FPTAS アルゴリズムにおいて正確性を向上させるために、ポストプロセッシングを用いる。
• ストリーミングアルゴリズムをスライディングウィンドウバージョンに変換するため、スムーズヒストグラムフレームワークを統合する。
• サブサンプリングと合成を用いたプライバシー強化技術を採用し、小さな ε および δ を達成する (ε, δ)-微分プライバシーを実現する。
• α, ε, δ, およびウィンドウサイズ W などのパラメータを調整することで、プライバシー、正確性、および空間/時間複雑性のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス変換により、非プライベートな近似アルゴリズムを正確性と効率性を保ちつつ、微分プライベートなバージョンに変換できるか？
• RQ2 関数 f およびアルゴリズム A に対して、プライベート変換が元の近似保証を維持するための十分条件は何か？
• RQ3 スムーズ感度フレームワークは、部分線形時間およびストリーミングアルゴリズムに効果的に適用可能であり、最小限のオーバーヘッドで微分プライバシーを達成できるか？
• RQ4 スムーズヒストグラムフレームワークは、スライディングウィンドウワークロードにおける微分プライバシーをサポートするように拡張可能か？
• RQ5 グローバル感度が低い近似問題に対して (ε, δ)-微分プライバシーを達成するための最小空間および時間コストは何か？

主な発見

• 本フレームワークにより、グラフにおける三角形数、連結成分、最小全域木重みの推定について、初めて知られるε-微分プライバシーを満たす部分線形時間アルゴリズムが達成された。
• Lpノルム、Fpモーメント、異なる要素数の推定について、乗法的 (1±α) 近似と、O(log m / ε) に有界な加法的誤差を有する、初めてのε-微分プライバシーを満たすスライディングウィンドウアルゴリズムが提供された。
• 異なる要素数の推定に関して、アルゴリズムは O(1/α³η³ log⁵ n) ビットの空間を用い、プライバシーパラメータ ε は定数、δ = 1/mᶜ である。
• Lpノルム推定 (p ∈ (0,2]) に関しては、p=2 の場合に ˜O(1/α²η² log⁵ n log³(1/αη)) の空間複雑度、p∈(0,2) の場合に ˜O(1/α²η² log⁵ n) の空間複雑度を達成し、高い確率で正確性を保証する。
• フレームワークにより、スムーズヒストグラムフレームワークのプライベート版が可能となり、スライディングウィンドウにおける最長増加部分列や異なる要素数の問題に対する乗法的近似が可能になった。
• 実行時間および空間の増加は多項式的であり、グローバル感度が低い条件下では、元のアルゴリズムの近似品質を維持したままである。